快手推荐系统精排模型实践

快手精排模型实践总结

快手推荐系统架构

快手推荐系统采用信息检索范式，通过候选集→召回→粗排→精排→重排的流程实现内容分发。系统服务超3亿用户，日均分发数百亿短视频，覆盖主站、精选、极速版、关注页、同城页、直播等多场景。核心挑战在于用户兴趣精准建模，需应对数亿用户、百亿短视频规模，以及行为数据差异大、内容丰富多样、用户兴趣广泛且变化快等问题。

CTR模型优化

个性化预估模型是推荐系统核心，需精准预测用户点击概率。传统DNN模型采用全连接网络（FCN），存在全局共享导致个性化不足的问题。快手提出PPNet（Parameter Personalized Net）解决方案：

1. 结构设计：基于全局共享网络，通过Stack用户网络引入个性化偏置，采用LHUC算法（Learning Hidden Unit Contributions）学习激活函数与DNN权重的个性化系数。
2. 优化改进：解决初始1向量导致的收敛问题，通过用户历史行为动态调整偏置参数，改善Embedding分布稳定性。
3. 性能提升：结合GPU加速预估服务，优化模型训练效率与部署成本。

多Domain多任务学习框架

为解决多产品、多场景下模型迭代低效问题，快手构建EVAmodel框架：

1. 特征语义对齐：删减冗余特征，修正语义不一致特征，添加单列播放列表类特征与交叉特征。
2. Embedding空间对齐：采用Embedding Transform Gate直接学习映射关系，提升特征表示一致性。
3. 目标个性化策略：基于MMoE（Mixture of Expert）架构，为每个任务塔（Task Tower）添加个性化偏置项，动态建模多目标关系。
4. 业务融合：通过统一模型覆盖主站、精选、极速版等多场景，提升交互效果与模型复用性。

行为序列建模

短期行为序列

使用Transformer替代RNN建模，优化计算复杂度从O(n²d)降至O(nd)。通过TargetAttention替代SelfAttention，结合视频观看时间戳动态调整Embedding，提升短期兴趣捕捉效率。

长期行为序列

针对超长历史行为（小时至年）建模，提出SIM（Similarity-based Indexing）方案：

1. 数据存储：依托AEP高密度存储设备，直接保存用户万级别行为序列。
2. 检索改进：GSU（基于Item相似）采用回溯补全算法与最大路径匹配衡量相似度，ESU（基于短时Transformer）实现高效检索。
3. 优化方向：通过视频Embedding聚类，覆盖类目体系并节省余弦相似度计算量，同时提升长期兴趣建模效率。

模型参数与特征规模

快手构建千亿特征、万亿参数规模的精排模型：

1. 特征管理：采用定制参数服务器（GSET）控制内存，设计Featurescore淘汰策略优化冷启动效果。
2. 硬件支持：结合Intel AEP非易失内存技术，底层KV引擎NVMKV支撑大规模Embedding索引与内存管理。

总结与展望

1. 技术突破：PPNet实现模型融合与个性化，EVAmodel推动多Domain多任务学习，SIM和Transformer方案解决长短期兴趣建模痛点。
2. 应用价值：通过算法优化与资源复用，显著提升推荐效果与系统效率，建立技术护城河。
3. 未来方向：深化用户兴趣建模，探索多任务学习与长短期行为融合，完善用户留存预测体系。