韩瑞东_MTGR_美团外卖下一代生成式推荐模型落地实践_28页_4mb

MTGR生成式推荐系统落地实践总结

背景部分解释了为何进行生成式推荐。大模型Scaling Law表明，模型性能随规模、数据和资源增加而提升，但推荐系统面临token量和词表空间的巨大挑战，训练和推理成本高昂，传统方法难以优化。注意力机制虽早被引入推荐系统，但工业界ATraining应用稀疏，导致效率低下。MTGR方案基于HSTU，采用了Transformer结构，将用户行为建模为序列形式，优化了模型效果和scalability。

MTGR核心问题包括Causal Mask的适用性挑战和特征删除的负面影响。MTGR通过数据组织（如取消负采样和长序列检索）及模型结构（如Group LayerNorm和Dynamic Mask）进行优化，实现了高效的数据处理和Attention计算。离线和AB实验显示，MTGR在训练和推理中表现出近似对数线性的Scaling Law，效果优于传统DLRM模型，例如在推理成本下降44%的同时提升推荐效果。

MTGRBoost引擎是针对训练和推理挑战的解决方案。它包括MTGR-Training组件，通过优化如动态Hashtable、梯度累积、Kernel提升等支持千亿参数模型高效分布式训练；以及MTGR-Inference组件，基于TensorRT和Triton Inference Server实现低延迟推理。引擎优化包括负载均衡、稀疏处理和硬件加速，显著提升了吞吐和性能。

结论部分总结MTGR成功落地，支持大规模计算模型的训推，取得业务收益，为未来构建跨业务Foundation Model奠定基础。未来工作将利用MTGR优化迭代范式和拓展模型应用。

(qingrzhang)