阿里巴巴-阿里妈妈展示广告预估校准演进之路-2021.4-21页_9mb

阿里妈妈展示广告校准技术演进之路总结

核心内容

阿里妈妈展示广告算法团队致力于提升用户行为预估的准确性，尤其是点击率（PCTR）、转化率（CVR）等关键指标的校准技术。通过一系列算法演进与工程实践，团队在提升模型预测效果、优化广告投放策略、保障竞价公平性等方面取得了显著成果。

主要观点

• 校准技术的重要性：校准技术是广告系统中不可或缺的一部分，直接影响出价准确性、竞价公平性以及广告计划的冷启动效果。
• 校准目标：使预估概率尽可能接近真实概率，最小化均方误差（MSE），同时保持排序能力不变。
• 校准方法演进：从传统的Binning、Scaling、Beta校准等方法，到更先进的SIR（保序回归平滑校准算法）、Bayes-SIR（贝叶斯平滑SIR校准算法）以及RTW-BSIR（实时Bayes-SIR校准算法），逐步解决了数据稀疏、时序波动等问题。
• 后链路指标校准：针对曝光/点击后的加购、收藏、转化等指标，开发了PCCEM（Post-Click Conversion Estimation Model）算法，以应对反馈延迟、数据稀疏等挑战。
• 工程实践：校准算法在广告系统中实现了高效落地，支持多种Bid类型和物料混排，提升了整体广告投放效率和客户满意度。

关键信息

校准技术演进

• SIR算法：通过分桶和保序回归，结合线性插值保证平滑性，有效缓解了数据稀疏问题，提升了点击率预估的准确性。
• Bayes-SIR算法：引入贝叶斯思想，结合先验信息与观测数据，增强模型在冷启动阶段的稳定性。
• RTW-BSIR算法：针对时序波动问题，通过计算训练数据与应用数据的分布差异，实现无偏校准，提升出价策略的稳定性。

校准评价指标

• PCOC：预测点击率与真实点击率的比值，用于衡量模型的绝对值准确性。
• Cal-N：基于分桶的均方误差指标，用于评估校准效果。
• GC-N：结合多个广告计划的加权平均Cal-N，适用于业务场景中的多维度评估。

校准应用场景

• CPC/CPM混竞场景：通过校准提升广告的竞争力和平台收入。
• 冷启动计划：利用Bayes-SIR等算法提升新广告计划的初始表现。
• 后链路指标校准：如加购、收藏、转化等，通过PCCEM算法处理延迟反馈和稀疏数据。

算法效果

• SIR算法：在A/B测试中，校准后GC-N指标提升，业务指标如RPM、CTR、ROI均有所改善。
• PCCEM算法：有效处理后链路指标的稀疏性与延迟性，提升了转化率预估的准确性。

算法落地与工程实践

• 系统结构：校准算法集成于广告系统模块中，支持多种广告类型和出价策略。
• 数据流程：通过SIR与PCCEM算法的协同，实现从用户行为预估到校准的闭环处理。
• 技术栈：结合了模型训练、分桶、回归、贝叶斯推断等技术，提升了广告系统的智能化水平。

总结与展望

• 总结：阿里妈妈展示广告团队在用户行为预估与校准技术上不断探索与优化，从传统方法到现代算法，逐步构建了更稳定、更准确、更高效的广告投放系统。
• 展望：未来将继续优化校准技术，探索更多应用场景，提升广告系统的智能化与个性化能力。同时，团队也在持续更新相关技术文档与研究论文，欢迎业界合作与交流。

参考链接

• 不确定性校准技术发展统计
• 广告机制与策略相关论文