> **来源：[研报客](https://pc.yanbaoke.cn)** # 厦门大学数据库实验室大数据百家讲坛第149期总结 ## 核心内容 本次讲坛由厦门大学数据库实验室主办，主题为《语音大模型：从语音识别到全双工语音交互》，由洪青阳教授主讲。讲座内容围绕语音识别技术的发展历程、多语种识别、端到端对话模型以及全双工语音交互等关键话题展开。 ## 主要观点 ### 1. 语音识别与多语种识别 - 语音识别是将语音信号转换为文本的过程，其核心在于找到最可能的词序列。 - 世界语种繁多，据Ethnologue第26版，现存有7168种语言，142个语系。 - 中国方言种类丰富，包括官话、晋语、吴语、闽语等十大方言。 - 多语种识别技术面临挑战，需要使用如BBPE（Byte-level Byte-pair Encoding）等跨语言编码方式。 ### 2. 语音识别发展史 - 语音识别技术经历了模板匹配、统计模型、深度学习和大模型四个阶段。 - 早期模型如DTW（动态时间规整）、GMM-HMM（高斯混合模型-隐马尔可夫模型）逐渐被深度学习模型如DNN-HMM、Transformer等取代。 ### 3. Transformer与Conformer - Transformer模型通过自注意力机制处理语音识别任务，显著提升了识别准确率。 - Conformer模型在Transformer基础上引入了卷积模块，进一步优化了语音处理性能。 ### 4. 端到端对话模型 - 端到端模型能够直接处理语音输入并生成语音输出，无需中间的文本转换。 - 通过语音编码器将语音离散化，语言模型处理语音数据，实现多模态实时交互。 - 语音编码器可采用Transformer或Conformer，而解码器使用LLM（大语言模型）进行next token预测。 ### 5. 全双工语音交互 - 全双工通信允许双方同时发送和接收数据，与单工和半双工通信不同。 - 实现全双工语音交互需解决打断和判停问题，如GPT Realtime使用WebRTC协议支持全双工通信。 - 全双工语音交互是提升人机交互体验的重要方向。 ## 关键信息 ### 技术背景 - 语音识别技术已从传统的模板匹配发展为基于深度学习和大模型的端到端系统。 - 多语种与方言识别是当前语音识别研究的重要方向，需考虑语言多样性及地域差异。 ### 语音识别模型 - **Transformer**：通过自注意力机制和前馈网络实现语音识别。 - **Conformer**：在Transformer基础上加入卷积模块，提高语音处理的效率和效果。 - **LLM（大语言模型）**：用于语音识别的解码阶段，实现自然语言生成和理解。 ### 多语种建模 - **BBPE（Byte-level Byte-pair Encoding）**：一种跨语言的编码方式，适用于多种语言和方言。 - 使用GPT-2 tokenizer进行语音和文本的编码，实现多语言处理。 ### 开源模型 - **Whisper**：基于Transformer的端到端语音识别模型，使用大规模弱标签数据进行训练。 - Whisper模型支持多种任务，包括语音转文本、语音翻译和语言识别，使用基于GPT2的tiktoken进行编码。 ## 重要数据与模型结构 | 模型 | 层数 | 宽度 | 头数 | 参数数量 | |------|------|------|------|----------| | Tiny | 4 | 384 | 6 | 39M | | Base | 6 | 512 | 8 | 74M | | Small | 12 | 768 | 12 | 150M | | Medium | 24 | 1024 | 16 | 300M | | Large | 48 | 1536 | 24 | 600M | ## 相关技术与挑战 - **流识别机制**：使用chunk输入，结合位置偏移信息进行实时语音识别。 - **信息丢失**：传统级联式模型在语音识别过程中可能丢失副语言信息。 - **错误累积**：级联模型在ASR-LLM阶段容易产生错误累积。 - **高延迟**：多模块间的传递导致系统响应时间较长，不利于实时交互。 ## 结论 本次讲座全面介绍了语音大模型的发展历程、技术架构及实际应用，强调了端到端模型在提升语音识别准确率和交互效率方面的潜力。同时，探讨了全双工语音交互的实现方式和挑战，为未来语音技术的发展提供了重要参考。