阿里文娱-全景解密阿里文娱智能算法-2020.8-187页_36mb

阿里文娱智能算法总结

核心内容

阿里文娱智能算法涵盖多个技术方向，包括计算机视觉、媒体智能引擎、内容智能、搜索、推荐、增长与营销算法以及搜推统一分发系统。这些技术共同服务于提升用户观看体验、内容质量评估与优化、以及内容的智能分发与增强。

主要观点

1. 计算机视觉：

   • 针对UPGC视频和图像质量提升，提出分区域处理策略，对logo、文字、人脸、背景等区域进行差异化处理。
   • 引入多模态内容理解技术，实现视频内容的智能裁剪和增强。
   • 人脸清晰化技术采用GAN-loss的超分网络，结合分频和mask技术，实现真实感提升。

2. 媒体智能引擎SmartAI：

   • 提供推理服务，实现海量视频解构数据的全生命周期流转。
   • 通过图执行引擎和召回引擎提升算法服务效率。

3. 内容智能：

   • 构建文娱大脑系统，用于内容全生命周期的管理和优化。
   • 通过分析历史数据和用户反馈，提升爆款内容的确定性。

4. 搜索：

   • 提出多模态搜索技术，通过语义模态匹配和多模态内容理解提升搜索准确度。
   • 优化搜索体验，提升用户找到喜爱内容的效率。

5. 推荐：

   • 基于Bi-LSTM模型的TermWeight算法，提升推荐系统效果。
   • 多模态视频多标签分类技术用于优化推荐策略。

6. 增长与营销算法：

   • 应用因果推断和Uplift Model提升用户增长和营销效果。
   • 外投DSP自动报价算法实现精准投放。

7. 搜推统一分发系统：

   • 基于图执行引擎构建算法服务框架，提升分发效率。
   • 通过内容图谱体系进行特征与索引更新，实现多级多模态场景下的内容分发。

关键信息

1. 计算机视觉

• 图像和视频清晰化技术：

  • 采用分区域处理策略，对logo、文字、人脸、背景等区域分别进行处理。
  • 使用多尺度处理和特征金字塔结构，提升人脸清晰度和减少失真。
  • 采用VSR模型处理视频，提升视频清晰度并解决压缩、噪声等问题。

• 质量评估体系：

  • 构建了基于人类视觉感知的视频质量评价体系，包括主观测试平台和客观质量评价模型。
  • 主观测试平台采用ACR和Pair Comparison方法，确保评价的可靠性。
  • 客观质量评价模型采用multi-level特征融合，支持无参考质量评价。

• 算法改进：

  • 采用快速融合模型，将超分辨率与锐化结合，提升处理速度。
  • 通过降低GAN-loss权重和引入模糊检测模块减少失真。

2. 端侧智能算法

• 统一端侧渲染SDK：

  • 提供统一的渲染引擎AX3D，支持多业务场景。
  • 针对不同内容形式，设计相应的特效和增强功能。

• 算法优化：

  • 采用RAISR算法进行端侧视频增强，速度快且效果好。
  • 通过权重插值实现算法可调性，提升业务响应速度。
  • 利用GAN方法生成降质数据，提升模型适应性。

3. 大千XR-Video技术

• 技术特色：

  • 支持虚拟信息与视频的后期植入，实现创意特效。
  • 通过3D视觉技术实现时空多维度的准确合成。
  • 具备实时可交互性，提升用户体验。

• 植入内容：

  • 包括用户提供的内容和AI生成的内容。
  • 利用CV和AI算法实现自动内容植入。

• 云渲染：

  • 采用云端渲染引擎，实现高效、自动化的内容制作。
  • 支持多种特效制作，包括高光时刻、动态混合现实等。

• 平面检测与追踪：

  • 显式平面检测和隐式平面检测相结合，提升植入位置的准确性。
  • 利用SLIC超像素分割和深度估计技术，实现3D点云重建。

4. 技术实践与业务应用

• 图像和视频清晰化：

  • 针对UPGC视频和封面图进行清晰化处理，提升画质。
  • 在优酷平台广泛应用，提升用户观看体验。

• 主观与客观质量评估：

  • 构建了完整的质量评价体系，涵盖主观测试和客观模型。
  • 实现了对视频质量的多维度评估，支持质量监控和内容优化。

• 端侧渲染与增强：

  • 提供统一的SDK，支持多业务场景。
  • 通过算法优化和模型压缩，实现端侧快速处理。

• XR-Video应用：

  • 在互动剧、体育赛事等场景中广泛应用。
  • 实现视频内容的创意植入和实时效果优化。

未来展望

• 5G时代的多媒体质量评价：

  • 随着4K/8K、HDR、VR/AR/MR等技术的发展，质量评价将成为关键。
  • 需要构建更全面、更智能的质量评价体系，提升用户体验。

• 算法创新与融合：

  • 通过算法的不断改进和融合，提升视频处理的智能化水平。
  • 鼓励工程师探索新技术，推动文娱产业的数字化发展。

参考文献

• [1] Qualinet White Paper on Definitions of Quality of Experience (2012)
• [2] ITU-R BT.500 : Methodology for the subjective assessment of the quality of television pictures
• [3] ITU-T Rec. P.910, Subjective video quality assessment methods for multimedia applications
• [4] Margaret H. Pinson, Lark Kwon Choi, and Alan Conrad Bovik, “Temporal Video Quality Model Accounting for Variable Frame Delay Distortions (VQM-VFD)”
• [5] Zhi Li, et.al, “Toward A Practical Perceptual Video Quality Metric” (VMAF)
• [6] Wang, Zhou, Bovik, A.C., Sheikh, H.R., Simoncelli, E.P. (2004-04-01). "Image quality assessment: from error visibility to structural similarity"
• [7] 李静，王百超，周星光，一种基于multi-level特征融合的无参考图像质量评价框架
• [8] Jing Li, Marcus Barkowsky, Patrick Le Callet, “Visual discomfort of stereoscopic videos: influence of motion”
• [9] Y. Romano, J. Isidoro, and P. Milanfar “ RAISR: Rapid and Accurate Image Super-Resolution ”
• [10] I. Boyadzhiev, K. Bala, S. Paris, and E. Adelson. Bandsifting decomposition for image-based material editing