【快手】2024快意大模型及短视频场景应用报告_56页_25mb

报告摘要

快意大模型及短视频场景应用总结如下：

项目背景
自2022年底OpenAI发布ChatGPT以来，AI技术进入快速发展阶段，预示着AGI（通用人工智能）的可能。快手作为以AI驱动的公司，于2023年初启动快意大模型研发专项，依托海量多模态数据、领先的算力基建（Top亚洲算力，20Eflops）及业务场景，构建大模型能力矩阵。

模型介绍
快意大模型包含多个版本，如13B、66B、175B参数量的模型，均在权威基准测试中表现优异。2023年8-9月发布的快意-66B在C-Eval、CMMLU等榜单中超越同规模模型，2024年2月发布的快意-175B在内部评测集上整体接近GPT-4/4o水平。此外，快手推出多模态理解大模型，支持文本、图像、视频等信号处理，具备视频内容理解、生成等能力，并开发文生图（可图）与文生视频（可灵）工具。

关键技术

TemporalScalingLaw：通过细粒度建模，动态调整训练过程中loss变化规律，显著降低预测误差（如43B模型误差从278%降至41%）。
MiLeLoss：基于信息熵优化损失函数，解决预训练阶段词汇学习偏差问题，提升词表压缩率与模型效果。
Scaffold-BPE：改进词表学习方法，替换“伪高频”token为真实高频词，增强模型语言理解能力。
MoE路由优化：通过token梯度分布检测路由错误，优化专家模块预测准确性。
SFT负反馈机制：结合用户反馈与自反馈数据，提升模型回复质量，减少重复与劣质内容。
迭代式RLHF+RLAIF：采用HumanFeedback→RewardModel→PolicyLearning流程，结合PPO与DPO策略，提升对话安全性与效率。
细粒度反馈训练（RLMEC）：基于token级RewardModel，分步定位错误并修正，增强模型稳定性。
词汇单元并行解码：通过无损解码加速生成速度，提升服务吞吐量。