阿里语音与信号处理技术精选集_36页_2mb

报告摘要

阿里机器智能语音与信号处理技术精选专辑总结

核心内容

阿里在2018年ICASSP会议上发表了5篇关于语音与信号处理技术的论文，分别聚焦于语音合成、情感识别、语音识别模型优化、说话人自适应算法和复合情感识别框架。这些研究旨在提升语音技术在实际应用中的性能、效率和鲁棒性，推动语音交互能力走向更广泛的行业应用。

主要观点

语音合成速度提升：
- 提出基于**深度前馈序列记忆网络（DFSMN）**的语音合成系统。
- 该系统在保持与**双向长短时记忆单元（BLSTM）**一致的主观听感的同时，模型大小仅为BLSTM的四分之一，合成速度是BLSTM的四倍。
- 适用于内存和计算效率敏感的端上产品环境，如物联网设备。
情感识别精度提升：
- 提出高级长短期记忆网络（A-LSTM），通过线性组合多个时间点的状态打破传统LSTM的时间依赖性限制。
- 在情感识别任务中，A-LSTM相比传统LSTM提升了 $5.5%$ 的识别率。
- 使用基于注意力机制的加权池化递归神经网络（RNN）提取整句话级别的特征，提升建模效果。
语音识别模型优化：
- 提出深层前馈序列记忆神经网络（DFSMN），结合低帧率（LFR）技术，提升语音识别性能。
- 在英文识别任务中，DFSMN相比BLSTM取得了 $1.5%$ 的绝对性能提升。
- 在中文识别任务中，LFR-DFSMN相比LFR-LCBLSTM取得了超过 $20%$ 的相对性能提升，且在训练速度、模型参数量、解码速度和延时方面有明显优势。
说话人自适应算法：
- 提出基于**线性网络（LN）**的说话人自适应算法，仅需200句目标说话人的语料即可获得与1000句训练的说话人相关系统相近的合成效果。
- 使用**低秩分解（LRPD）**对线性网络进行压缩，提升模型稳定性。
复合情感识别框架：
- 构建了一个包含多个子系统的复合情感识别框架，提升系统对背景噪声和非语音声音的鲁棒性。
- 框架包括基于底层特征、高层表述、序列特征和语义信息的识别子系统。
- 通过多任务学习和加权池化机制，有效提升识别准确率和系统健壮性。

关键信息

语音合成

DFSMN：深度前馈序列记忆网络，结构紧凑，计算效率高。
模型性能：在中文数据集上，DFSMN的合成质量与BLSTM相当，但模型大小和速度更优。
应用环境：适合端上设备，如智能音箱、智能电视等。

情感识别

A-LSTM：高级长短期记忆网络，提升识别率 $5.5%$。
加权池化：基于注意力机制，提升对整句话特征的建模能力。
多任务学习：结合说话人识别和性别识别任务，提升模型性能。

语音识别模型

DFSMN vs BLSTM：DFSMN在参数量、训练速度、解码速度和延时方面优于BLSTM。
LFR-DFSMN：结合低帧率技术，提升模型效率，同时保持高性能。
实验数据：在2千小时英文任务和2万小时中文任务中均取得显著性能提升。

说话人自适应

LN：线性网络，用于说话人自适应。
LRPD：低秩分解模型压缩，减少参数量，提升稳定性。
实验结果：200句训练数据即可获得与1000句数据相近的合成效果。

复合情感识别框架

子系统：包括底层特征识别、高层表述识别、序列特征识别和基于文本的识别。
多任务学习：情感识别为主任务，说话人识别和性别识别为辅助任务。
融合策略：通过线性相加融合各子系统的识别结果，提升整体性能。

总结

阿里在语音与信号处理领域取得了多项突破，尤其是在语音合成、情感识别和语音识别模型优化方面。DFSMN技术显著提升了语音合成的速度和效率，A-LSTM提高了情感识别的精度，LFR-DFSMN在语音识别任务中展现出优异的性能和效率。此外，基于线性网络的说话人自适应算法和复合情感识别框架，进一步增强了语音技术在实际应用中的适应性和鲁棒性。这些研究为语音技术的实际部署和广泛应用提供了坚实的技术支持。

展开完整摘要