中国自然语言处理白皮书_18页_563kb

报告摘要

本白皮书主要围绕自然语言处理（NLP）领域的两个典型技术与应用：汉语切分和人机对话系统，对当前的技术发展、应用现状以及未来方向进行了系统分析。白皮书旨在帮助读者更清晰地认识NLP技术的进展与局限，避免对技术的过度期待或误解。

技术发展与性能提升
- 汉语切分是NLP的基础技术之一，主要用于将连续的汉字序列切分为有意义的词语。
- 自2003年起，SIGHAN组织了多届国际评测，展示出汉语切分技术的持续进步。
- 评测结果表明，当前技术在准确率（P）、召回率（R）和F测度上表现良好，但仍有提升空间。
主要挑战
- 切分歧义：分为交集歧义（如“地面积”中的“面”可与前后字组成词）和组合歧义（如“把手”可能是两个词或一个词）。
- 未登录词处理：新词、新命名实体（如“世博园”、“沪港通”）的不断出现，增加了切分难度。
- 跨领域与跨风格文本：系统在不同领域或风格文本中的表现差异较大，需更多研究以提升通用性。
- 最后几个百分点的瓶颈：尽管技术不断进步，但性能提升逐渐放缓，突破最后几个百分点仍需探索。
技术方法
- 多数系统采用基于字的序列标注模型（如CRF），部分系统开始尝试**深度神经网络（DNN）**模型，但尚未显著提升性能。
- DNN在图像和语音处理中已取得显著成果，但在汉语切分上仍需进一步研究。

系统分类
- 人机对话系统分为任务型和开放型两类。
- 任务型系统用于获取特定信息以完成任务（如机票预订、会议室预定），已取得较好的性能。
- 开放型系统则更偏向于聊天，如ELIZA、Siri、小黄鸡等，但目前仍难以达到理想的人-人对话体验。
系统结构
- 人机对话系统通常包括三个核心模块：语言理解、对话管理和语言生成。
- 对话管理是系统的关键部分，负责维护对话状态并生成对话策略，直接影响用户体验。
对话管理技术
- 主要技术包括：基于有限状态自动机、语义框架、代理模型和统计方法（如POMDP）。
- 基于POMDP的方法更适用于复杂场景，能够处理不确定性，但计算复杂度高，目前应用较少。
- 对话管理需处理多个难点，如轮次交替、主题转换和任务变化，这些都需要更智能的机制来应对。
系统局限
- 当前对话系统在语音识别和语义理解方面仍存在不确定性，影响对话流程的自然性和用户体验。
- 完全开放的对话系统仍面临较大挑战，短期内难以实现与人类对话的完全一致。

Sproat, R., & Emerson, T. (2003). The First International Chinese Word Segmentation Bakeoff.
Emerson, T. (2005). The Second International Chinese Word Segmentation Bakeoff.
Levow, G.-A. (2006). The Third International Chinese Language Processing Bakeoff.
Jin, G., & Chen, X. (2008). The Fourth International Chinese Language Processing Bakeoff.
Zhao, H., & Liu, Q. (2010). The CIPS-SIGHAN CLP 2010 Chinese Word Segmentation Bakeoff.
Duan, H., et al. (2012). The CIPS-SIGHAN CLP 2012 Chinese Word Segmentation on MicroBlog Corpora Bakeoff.
Duan, H., et al. (2014). The CIPS-SIGHAN CLP 2014 Chinese Word Segmentation Bake-off.