微软-matrix49_36页_9mb

Matrix 2019年4-6月 第49期 总结

核心内容

微软亚洲研究院在2019年4-6月期间取得了多项重要成果，涵盖机器翻译、自然语言处理、物流行业数字化转型以及人工智能模型与数据集的发布。这些成果展示了微软在人工智能领域持续的技术创新与行业融合能力。

主要观点与关键信息

1. WMT 2019国际机器翻译大赛

• 比赛表现：微软亚洲研究院在WMT 2019比赛中以8项第一、3项第二的成绩成为冠军团队，展示了其在机器翻译领域的领先优势。
• 技术亮点：
  • MADL（多体对偶学习）：通过正向与反向翻译的多个模型进行前向和后向翻译并打分，从而提升翻译质量。
  • MASS（屏蔽序列到序列预训练）：相较于BERT和GPT，MASS更适用于序列到序列任务，如机器翻译。
  • NAO（自动神经网络架构优化）：通过将离散网络结构嵌入连续向量空间，提升模型的灵活性和表现。
  • SCA（软性上下文数据增强）：通过屏蔽词并利用上下文预测，生成多个合理的翻译结果，提升数据质量和多样性。

2. 机器阅读理解与对话式问答

• CoQA挑战赛：微软亚洲研究院自然语言处理组开发的系统在CoQA中取得突破，成为唯一一个模型分数超过人类的团队。
• 技术策略：采用多阶段、多任务精调方法，结合语言建模作为辅助，提升模型的泛化能力和减少过拟合。

3. 物流行业数字化转型

• AI应用：微软亚洲研究院通过“创新汇”平台，与物流行业合作，推动AI技术在物流行业的应用。
• 关键技术：
  • 竞合多智能体强化学习：用于实时路径优化，减少路径规划时间至毫秒级，提升运输效率。
  • 智能理赔预警：通过深度因子分解和基于精度的级联，将理赔预警准确率提升约60%。

4. 语义分析数据集MSParS

• 数据集特点：包含81,826个问题及其结构化语义表示，覆盖12种问题类型和2,071个谓词，是目前最全面的语义分析数据集。
• 应用场景：支持实体识别、问题分类、知识图谱问答等任务。
• 数据集构建：采用众包方式构建，支持多跳、多约束等复杂问题类型。

5. 预训练模型MASS

• 方法创新：MASS通过屏蔽句子中的连续片段进行预训练，提升了序列到序列生成任务的性能。
• 实验结果：
  • 在无监督机器翻译任务中，MASS表现优于Facebook的XLM。
  • 在文本摘要生成任务中，MASS效果优于BERT+LM和DAE。
  • 在对话生成任务中，MASS的PPL低于BERT+LM。

6. 高分辨率深度神经网络HRNet

• 网络结构：HRNet通过并行连接高低分辨率卷积，保持高分辨率表征，实现多分辨率信息交换。
• 实验结果：
  • 在人体姿态估计、图像分割等任务中表现优异。
  • HRNet-W32和HRNet-W48在相同输入大小下，分别取得了1.2%和1.8%的AP提升。

重要活动与合作

• 机构揭牌：微软亚洲研究院（上海）和微软-仪电人工智能创新院在沪揭牌，推动AI与行业的深度融合。
• 人才培训：首期人工智能高阶人才培训班开课，培养复合型AI工程师。
• 行业合作：与东方海外航运和顺丰科技合作，探索AI在物流行业的应用。

未来展望

• 技术整合：研究团队计划整合多维度的创新技术，提升AI在各领域的应用效果。
• AI+行业：微软致力于推动AI技术在更多行业的应用，如金融、教育、医疗等。
• 持续研究：继续探索元学习、对抗学习等技术在AI应用中的潜力，拓展AI技术的应用边界。

附录

• MSParS下载地址：https://github.com/msra-nlc/MSParS
• MASS论文地址：https://arxiv.org/pdf/1905.02450.pdf
• HRNet论文地址：https://github.com/HRNet

参考文献

• Lample & Conneau (2019) 无监督机器翻译
• Bordes et al. (2015) SimpleQuestions
• Zhong et al. (2017) WikiSQL
• Trivedi et al. (2017) LC-QuaAD
• Talmor & Berant (2018) ComplexWebQuestions