阿里巴巴-数字经济下的算法力量_-2019.2-329页_17mb

数字经济下的算法力量 - 阿里算法年度精选集

核心内容

本书是阿里巴巴集团在数字经济背景下的算法技术精选集，涵盖了机器视觉、搜索推荐、语音&文本、安全、智能决策、知识图谱等多个领域。它展示了阿里在算法创新、模型优化、系统架构等方面的研究成果和实际应用，强调了算法在提升用户体验、优化推荐效果、增强系统稳定性等方面的贡献。

主要观点

• 算法创新：阿里提出了多种创新算法，如基于改进注意力循环控制门的品牌个性化排序、考虑商品间相互影响的全局排序法、以及基于异构内容流的动态排序等，旨在提升推荐系统的性能和用户体验。
• 模型优化：通过引入弹性特征伸缩、模型压缩、稀疏性优化等技术，阿里实现了在大规模数据和特征下的高效模型训练和推理，显著提升了模型的性能和稳定性。
• 系统架构：阿里对TensorFlow进行了弹性改造，支持百亿特征的实时推荐算法，并实现了图裁剪、特征管理、模型监控等功能，使得模型训练和推理更加灵活和高效。
• 可解释性：通过DeepInsight平台，阿里实现了深度学习模型的可视化和可解释性，帮助理解模型内部状态和机制，提升模型的透明度和可调试性。

关键信息

推荐、搜索

• 百亿特征实时推荐算法：通过弹性特征伸缩体系、GroupLasso优化器和频次过滤等技术，提升了模型稀疏性和线上效果，实现了模型体积压缩90%和链路效率提升50%。
• 全局排序法：首次提出考虑商品间相互影响的全局排序方法，通过RNN模型和注意力机制，提升了GMV效果5%。
• 异构内容流动态排序：提出独立多臂老虎机算法和个性化马尔科夫深度神经网络算法，实现了内容流类型的动态排序，提升了uv click和uv ctr等指标。

机器视觉

• 语境对比特征和门控多尺度融合：提出新的特征提取方法，用于解决场景分割问题。
• 视频异常事件检测：提出全新的检测模型，用于识别视频中的异常事件。

语音、文本

• 智能文案生成：通过深度学习模型，实现了智能文案生成，提升推荐效果。
• A-LSTM模型：提出用于更精确情感识别的高级长短期记忆网络。
• 命名实体识别：探讨众包标注是否优于专家标注，提供了一些实验和分析。
• 语音合成速度提升：通过深度前馈序列记忆网络，将语音合成速度提升了四倍。

综合

• 快速GeoHash实现：通过GeoHash算法，实现了海量商品与商圈的高效匹配。
• 深度学习模型效果评估：提出DeepInsight系统，用于评估模型效果，提升模型的可解释性。
• 智能客服调度系统：通过XSigma大图和智能培训等技术，优化了客服调度，减少了用户排队时间。

未来工作

• 弹性特征优化：继续从分钟级向秒级优化，提升链路实时性和模型增量更新能力。
• 模型压缩与稀疏性：进一步探索模型压缩和稀疏性优化技术，提升模型效率和稳定性。
• 算法与系统结合：探索样本重要性采样、自动特征学习、在线性规划与DNN的结合等技术，实现优化器联合决策。
• 可解释性研究：继续深入研究深度学习模型的可解释性，提升模型的透明度和可调试性。

参考文献

• McMahan, Brendan. "Follow-the-regularized-leader and mirror descent: Equivalence theorems and l1 regularization." Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics. 2011.
• Guorui Zhou, Chengru Song, Xiaoqiang Zhu, Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, Kun Gai. "Deep Interest Network for Click-Through Rate Prediction." arXiv preprint arXiv:1706.06978(2017).
• Paulo Rauber, Samuel Fadel, Alexandre Falcao, and Alexandru Telea. "Visualizing the hidden activity of artificial neural networks." IEEE transactions on visualization and computer graphics 23, 1(2017), 101-110.
• Guillaume Alain and Yoshua Bengio. "Understanding intermediate layers using linear classifier probes." arXiv preprint arXiv:1610.01644 (2016).