近日，中国信通院云大所依托“护脸计划”顺利召开“多模态生物特征识别技术沙龙暨评估规范研讨会”，深度交流多模态生物特征识别技术的新突破、新应用和新趋势，为进一步推动相关技术在各领域场景的深度应用，探索建立完善的标准体系和技术要求提供启发和决策参考。梆梆安全泰斗安全实验室负责人吴建平受邀发表《声纹与语音识别的攻防对抗》主题演讲，助力探索除人脸识别技术以外的生物特性识别技术应用的可信范式。

语音识别

语音识别 (Speech Recognition) 的目标是把语音转换成文字，也称 STT(Specch to Text) 系统。语音识别是实现人机自然语言交互非常重要的第一个步骤，把语音转换成文字之后就由自然语言理解系统来进行语义的计算。

语音识别技术不会遗失和忘记数据，不用记忆，应用方便，技术较成熟，用户的接受度很高，声音输入设备造价也具有优势。语音识别技术在隐私保护问题也有保障，有推广使用市场。

声纹识别

声纹(Voiceprint) 是用电声学仪器显示的携带言语信息的声波频谱，是一类典型的模式识别问题，主要包含训练和识别两阶段。训练阶段，算法提取训练库里的语音特征，进行深度学习，并训练出模型；识别阶段，提取注册音频和待识别的音频特征，比对得分，得分超过阈值，则识别通过，反之不通过。

声纹识别技术获取语音的识别成本低，使用简单且适配于远程身份确认，技术应用涉及的算法复杂度低，更有优势。实际应用中往往把语音识别技术和声纹识别技术结合应用，从而有效提高声纹身份认证系统的安全性能。

中国声纹识别技术发展历程可分为七个阶段，有三个分水岭，分别是 2000 年基于模板匹配和基于高丝混合模型的声纹识别算法、2010年出现 iVector/PLDA 算法以及 2011 年深度神经网络算法被引入业界。

Text-to-Speech 框架由 Google 提出，简称 TTS 框架，即文字转语音，在内置芯片的支持之下，通过神经网络的设计，将文字智能转化成自然语音流。在 CTI 系统中，TTS 可应用于 IVR（交互式语音应答）服务器，提供语音交互式平台，为用户电话来访进行语音提示，引导用户选择服务内容并输入电话事务所需的数据，并接收用户在电话拨号键盘上输入的信息，实现对计算机数据库等信息资料的交互式访问。

Google 官方详情：

https://cloud.google.com/text-to-speech?hl=zh-cn

声音是一个连续的模拟的信号，TTS 的核心技术是语音合成(SpeechSynthesis)，合成过程通过计算机数字信号模拟：

对抗样本攻击

对抗样本攻击(Counter Sample Attacks)是攻击者故意设计，导致算法模型出现错误输入，通过对样本添加特定扰动信息，干扰模型输出指向错误的结果或输出结果异常，在深度学习算法安全对抗领域有广泛应用和一定通用性。

对抗样本攻击是在一段非目标人物的语音上加上扰动信息，生成对抗语音，使系统将对抗语音识别为目标人物，分为白盒攻击、黑盒攻击和半黑盒攻击。攻击者可以访问目标神经网络的所有信息，包括其架构、参数、梯度等。

攻击者可以充分利用网络信息，精心制作对抗样本。下图展示对抗样本攻击的方法：

模型后门攻击

模型后门攻击(Model Backdoor Attack)是指在模型的训练过程中，通过某种方式埋藏后门(Backdoor)，然后通过攻击者预先设定的触发器(Trigger)激发。后门未被激发时，被攻击的模型和正常模型表现类似；当模型中埋藏的后门被攻击者指定的触发器激活时，模型的输出变为攻击者预先指定的标签(Target Label)，从而达到恶意攻击目的。

后门攻击发生在训练过程非完全受控的很多场景，如使用第三方数据集、使用第三方平台进行训练、直接调用第三方模型等，对模型安全性造成巨大威胁。目前，对训练数据投毒是实现后门攻击最直接、最常见的方法。

深度伪造攻击

深度伪造攻击(Deep Forgery Attack)指通过各种语音合成、语音转换或高度模仿攻击目标声音的音调、音强、发音习惯等音律特征，对声纹识别系统进行攻击，是一种新型攻击方法，条件限制要求较高，需要利用各种声频处理软件伪造语音，从而模糊声纹识别系统，绕过声纹识别。

完成深度伪造的音频，需要克服复杂因素：

• 保证音频高质量，几乎没有背景噪声；

• 分阶段传送音频；

• 避免面对面交谈，只使用语音留言等手段达到目的。

• 

自中国信息通信研究院云计算与大数据研究所发起“可信人脸应用守护计划”以来，梆梆安全围绕人脸识别安全参与多项标准制定、测试评估、生态建设等工作，持续开展人脸识别安全评测相关的技术攻关工作，助力多项突破性成果形成。未来，梆梆安全将持续洞察行业技术发展趋势，强化理论研究，推进标准制定，完善评测评估和咨询服务能力，与中国信息通信研究院一道，构建共治、共赢、共享的“护脸”生态。