阿里巴巴-数字经济下的算法力量_-2019.2-329页_16mb

数字经济下的算法力量 - 阿里算法年度精选集总结

核心内容

本年度精选集围绕阿里巴巴集团及蚂蚁金服在数字经济背景下所采用的算法技术，涵盖了推荐系统、搜索排序、机器视觉、语音&文本处理、模型可解释性等多个领域。核心内容包括：

• 推荐系统优化：通过弹性特征伸缩、模型压缩、特征动态增删等技术提升推荐效果和效率。
• 搜索排序创新：提出商品间相互影响的全局排序方法，以及基于异构内容流的动态排序模型。
• 机器视觉进展：介绍用于场景分割、视频异常事件检测、行人重识别等任务的先进算法。
• 语音&文本技术：包括标题优化、智能文案生成、情感识别等领域的算法应用。
• 模型可解释性：通过可视化工具如DeepInsight，提升深度学习模型的可解释性和评估能力。

主要观点

推荐系统优化

• 弹性特征伸缩：通过弹性改造TensorFlow，实现特征的动态增删，提升模型的灵活性和效率。
• 模型压缩：通过图裁剪技术，将模型体积压缩90%，提升线上推理效率。
• 特征管理：引入Group Lasso优化器和频次过滤技术，优化模型稀疏性，提升模型泛化能力。
• 在线学习：在支付宝首页多个推荐场景中实现了显著的uvctr和pvctr提升。

搜索排序创新

• 全局排序方法：提出一种考虑商品间相互影响的排序方法，优化目标为最大化GMV，提升了搜索效果。
• 异构内容流排序：基于独立多臂老虎机和个性化马尔科夫深度神经网络，实现不同坑位内容类型的动态选择，提升用户点击率和使用率。

机器视觉进展

• 场景分割与特征提取：提出语境对比局部特征和门控多尺度融合方法，提升分割精度。
• 视频异常事件检测：设计新的检测模型，实现高效准确的视频异常识别。
• 行人重识别：基于多层相似度感知CNN网络，提升识别准确率。

语音&文本技术

• 标题优化：通过算法优化解决商品标题冗长问题，提升推荐效果。
• 智能文案生成：在1688平台实现智能文案生成，提升用户互动。
• 情感识别：提出A-LSTM模型，提升情感识别的准确性。
• 命名实体识别：探讨众包标注与专家标注在命名实体识别中的优劣。

模型可解释性

• DeepInsight平台：提供模型可视化和数据透出，提升模型的可解释性与评估能力。
• 神经元状态波动：通过分析模型内部状态波动，识别模型是否过拟合。
• 特征影响力：利用梯度信息评估不同特征组对模型的影响，帮助优化特征设计。

关键信息

推荐系统

• 弹性特征伸缩支持百亿参数训练。
• Group Lasso和频次过滤技术显著提升模型稀疏性。
• 模型体积压缩90%，链路效率提升50%。
• 在线学习桶相比多模型融合最优桶提升4.23%，相比随机对照提升34.67%。

搜索排序

• 全局排序方法提升GMV 5.82%，同时降低搜索延迟。
• 异构内容流排序方法提升uv click和uv ctr，增强用户使用体验。

机器视觉

• 提出语境对比局部特征和门控多尺度融合方法。
• 视频异常事件检测模型实现高效准确的检测。
• 行人重识别模型提升识别准确率。

语音&文本

• 标题优化和智能文案生成提升用户互动。
• A-LSTM和DNN结合提升情感识别和命名实体识别效果。

模型可解释性

• DeepInsight平台实现模型的可视化和数据透出。
• 神经元状态波动反映模型泛化能力。
• 特征影响力评估帮助优化特征设计。

结构清晰总结

推荐系统

• 弹性改造：实现特征动态增删，提升模型灵活性。
• 模型压缩：通过图裁剪技术压缩模型体积，提升推理效率。
• 特征管理：Group Lasso和频次过滤优化模型稀疏性。
• 效果提升：在支付宝首页多个推荐场景中实现uvctr和pvctr显著提升。

搜索排序

• 全局排序：考虑商品间相互影响，提升GMV。
• 异构内容流排序：通过独立多臂老虎机和个性化马尔科夫深度神经网络实现内容类型动态选择。
• 实验结果：提升uv click和uv ctr，增强用户使用体验。

机器视觉

• 场景分割：语境对比局部特征和门控多尺度融合方法。
• 视频异常检测：提出新的检测模型，提升检测效率。
• 行人重识别：基于多层相似度感知CNN网络，提升识别准确率。

语音&文本

• 标题优化：解决商品标题冗长问题，提升推荐效果。
• 智能文案生成：提升用户互动和推荐效果。
• 情感识别：A-LSTM模型提升情感识别准确性。
• 命名实体识别：探讨众包标注与专家标注的优劣。

模型可解释性

• DeepInsight平台：提供模型可视化和数据透出，提升可解释性。
• 神经元状态波动：反映模型泛化能力。
• 特征影响力：利用梯度信息评估特征组对模型的影响，帮助优化特征设计。

未来工作

• 推荐系统：继续优化模型压缩和在线学习，实现分钟级到秒级的实时更新。
• 搜索排序：探索样本重要性采样、自动特征学习、优化器联合决策等技术。
• 机器视觉：继续提升模型性能和可解释性。
• 语音&文本：进一步优化模型效果和应用场景。
• 模型可解释性：深化模型理解，提升模型调试和问题定位能力。