演讲者
赵晟、张鹏
整理
伍杏玲
9月7日，在CSDN主办的「AIProCon」上，微软（亚洲）互联网工程院人工智能语音团队首席研发总监赵晟、微软（亚洲）互联网工程院Office资深产品经理，Office小程序负责人张鹏共同发表《微软语音AI与微软听听小程序实践》的主题演讲，分享微软人工智能语音的技术以及微软听听小程序的落地实践。
详情如何？我们一起来看看。
以下为演讲内容：
赵晟：
小程序是现在移动开发的新生态、新趋势。语音AI技术跟移动开发是非常有关系的。大家平时开车时不方便用手输入，可以用语音输入，开车时想听一些东西，完全可以用文字转语音的技术去听这些内容。基于这些考虑，微软语音AI和微软听听小程序合作做了些尝试，今天给大家分享这里面的故事。
赵晟
微软语音AI的技术突破
微软在30多年前开办微软研究院时，已开始投入大量的人力物力在语音和语言上。近几年来，微软在语音识别上首先取得突破，在年，语音识别的准确度已达到跟人相似的水平。
年，在中英机器翻译上和人类做比较，发现机器翻译的质量跟专业翻译人员的结果完全可以相媲美。
年9月，微软首先发布了基于神经网络的语音合成产品服务，它与人声的自然度得分的比例达到98.6%，也就是说非常接近人声。
语音识别之路微软在语音识别的具体突破有哪些？
语音识别主要核心指标是词错误率，就是词识别错误占多少比例。在SwitchBoard会话数据集上，语音识别错误率开始非常高，根本不能用，到年，微软取得了突破，达到5.9%的错误率，年进一步降低到5.1%的错误率，这个错误率跟专业人员转写录音的错误率是相当的。
大家听听这个数据集的例子：电话上有两个人在交流，语音具有不连续性、噪音、口音，所以识别难度对机器来讲是非常大的，微软使用10个神经网络技术，比如：CNN、ResNet、VGG等，多模型输出打分、多系统融合，得到了这个了不起的突破。
机器翻译的里程碑从年的传统机器翻译，到年的统计机器翻译，再到年，深度学习机器翻译技术开始兴起。年，微软首度提出一个任务，把机器跟人在中英新闻翻译上做比较，让专业翻译人员和机器翻译同样的句子，翻译后请懂双语的老师和学生去对翻译结果用0-分进行打分。
可以看到微软的HumanParity机器翻译系统已经超过或者接近专业人员的翻译水平。它的突破用到了新技术比如对偶学习，用大量无标注数据提高现有的翻译系统。还有推敲网络，先有一个初始翻译，再用另外一个网络进行再一次的修正，同时运用多系统融合技术，最终达到这个突破性的结果。
语音合成技术我们再看看语音合成技术，文字转语音这个技术也是非常悠久的语音AI技术。
最开始是基于人的发音原理的合成器，然后90年代用拼接的方法，把一句话分成很小的单元，然后进行拼接，一开始的拼接是小语料库，自然度一般。在年左右，出现基于大语料库的拼接，这时需要收集到成千上万的句子，把它们切分开来，用一种选择策略去选择最合适的单元拼接在一起，自然度显著提升，但是带来新的问题，比如有些拼接不平滑。
年左右，基于HMM模型的合成技术兴起，它的好处是非常平滑，但是也带来负作用，就是声音过于平滑，让人听出来觉得不够具有表现力。深度学习的兴起在合成领域也得到了应用，最近两三年推出的神经网络TTS，是语音合成技术的突破。谷歌提出来Tacotron,WaveNet这些模型，把语音自然度提升新的水平。
微软在年，年提出了TransformerTTS、FastSpeech等高自然度神经网络TTS模型，并在年9月首度推出产品化接近人声的端到端NeuralTTS。
NeuralTTS模型为什么NeuralTTS模型可以接近人声？
传统的TTS是一个复杂的流程，每一步都要进行单独优化，有些模块需要经验规则，人工优化权重等等。神经网络的TTS是将合成流程简化了，我们可以看到它基本就三段，有一个前端文本分析，一个声学模型，一个NeuralVocoder声码器。神经网络的声码器可以非常接近人的音质。
采用最新的基于注意力的声学模型去进行建模韵律，更加接近人声的韵律。两者叠加起来，就可以到更符合人的韵律和音质的高质量合成语音。当然，带来的负作用是计算量非常大。
神经网络TTS的架构非常具有可扩展性，各家都提出不同的声学和声码器模型，有各自的特点，有的计算量大一点，有的计算量小一点，质量也有所不同。
NeuralTTS还有一个特点是迁移学习，我们可以提取条件参数，对合成进行控制，比如我们可以先训练一个多说话人的基础模型，使用几十小时到上千小时数据训练得到一个模型。有了基础模型以后可以做很多有意思的事情，比如训练我自己的声音，或者生成有情感的、多风格的、跨语言的声音，这些都可以做到。
语音服务概览
前面讲了语音的新技术突破，可能有人就会问，有这么多新技术，怎么在产品里用它？我给大家介绍语音服务有哪些功能供大家使用。
微软的语音服务基本都在微软Azure这个平台上，提供语音转文字、文字翻译等标准服务。
Azure语音云端服务
语音转文字有很多功能，如实时识别文字、一个人说话、多人对话、会议场景。一个典型场景是大家开会后想看会议内容，可用语音服务把语音转成文字，并且做一些自动处理的摘要，这样可快捷地查看会议内容。
目前跟人类接近的文字翻译系统已上线，神经网络模型已更新，翻译质量大幅度提升。
文字转语音我们提供神经网络TTS、4种语言、5个声音。这些服务都可以用Rest和WebSocketSDK调用。
我们还提供语音到语音的翻译系统，比如翻译机场景，把中文语音输入进去，翻译成英文，得到语音流，可以直接播放，不用再配置其他服务，简化开发步骤。这些服务都可以在以下网址访问使用。