【谷歌】Gemini_1.5：解锁数百万代币的多模式理解报告_58页_3mb

Gemini 1.5 Pro 模型总结

核心内容

Gemini 1.5 Pro 是 Google 双子座团队推出的最新多模式模型，它在长上下文处理能力方面实现了显著突破，能够处理多达 10M 个标记的文本、2M 个标记的音频（最多 22 小时）和 2.8M 个标记的视频（最多 3 小时）。Gemini 1.5 Pro 不仅在长上下文任务上表现出色，还在多个核心能力上超越了其前身 Gemini 1.0 Pro 和 Ultra。

主要观点

1. 长上下文能力

   • Gemini 1.5 Pro 在文本、视频和音频三种模式中都表现出卓越的长上下文理解能力。
   • 它实现了几乎完美的召回率（>99.7%），并且在扩展到 10M 标记时仍保持高准确率。
   • 这种能力使模型能够处理长文档、长视频和长音频，支持多模态混合输入。

2. 性能提升

   • Gemini 1.5 Pro 在多个基准测试中表现优于 Gemini 1.0 Pro 和 Ultra，特别是在数学、科学、推理、多语言能力、编码和指令遵循任务上。
   • 在文本基准测试中，Gemini 1.5 Pro 在 13 个基准中表现优异，胜率高达 100%。
   • 在视频理解任务中，Gemini 1.5 Pro 的表现优于 Gemini 1.0 Ultra，尤其是在需要大量上下文的复杂任务中。

3. 跨模态和多语言能力

   • 模型能够处理音频、视觉、文本和代码的混合输入，并在多模态任务中展现出强大的跨模态推理能力。
   • 在多语言任务中，Gemini 1.5 Pro 表现出卓越的性能，特别是在 MGSM 和 WMT23 基准上，分别提升了近 10% 和 22.3%。

4. 新功能和应用场景

   • 模型能够通过上下文学习新语言，如卡拉芒语，其翻译质量可与人类语言学习者相媲美。
   • 它能够从长文档中提取信息，回答复杂问题，并且在长视频中精准定位特定场景或时间点。

关键信息

• 上下文长度：Gemini 1.5 Pro 支持多达 10M 标记的文本，2M 标记的音频（22 小时），和 2.8M 标记的视频（3 小时）。
• 性能对比：
  • 相对于 Gemini 1.0 Pro：在 27/31 个基准中表现更好。
  • 相对于 Gemini 1.0 Ultra：在 16/31 个基准中表现更好。
• 评估方法：包括诊断性评估（如大海捞针任务）、现实世界任务（如长文档 QA、长视频 QA、长上下文 ASR）和核心能力测试（如数学、科学、推理、代码、多语言、指令遵循等）。
• 局限性：尽管在长上下文任务中表现优异，但在某些任务中，如复杂推理和跨领域任务，仍需进一步研究。

详细评估结果

长上下文评估

• 文本-Haystack：Gemini 1.5 Pro 在高达 1M 标记的文本中实现了 >99.7% 的召回率。
• 视频-Haystack：模型能够从长达 3 小时的视频中精准定位特定帧，召回率接近 100%。
• 音频-Haystack：Gemini 1.5 Pro 在长达 22 小时的音频中实现了 100% 的准确率，而 GPT-4 Turbo 和 Whisper 的准确率较低。
• 多语言学习：模型在仅提供 500 页语言学材料的情况下，能够将英语翻译成卡拉芒语，翻译质量接近人类水平。

核心能力评估

• 数学、科学与推理：
  • 在 GSM8K 上，Gemini 1.5 Pro 的表现优于 Gemini 1.0 Ultra 和 Pro。
  • 在 AMC 2022-23 上，Gemini 1.5 Pro 的表现有显著提升。
• 编码能力：
  • 在 HumanEval 和 Natural2Code 基准测试中，Gemini 1.5 Pro 的表现优于 Gemini 1.0 Ultra。
• 多语言能力：
  • 在 WMT23 和 MGSM 基准上，Gemini 1.5 Pro 显示出 +22.3% 和 +11.2% 的性能提升。
• 指令遵循：
  • 模型在遵循复杂指令方面表现出色，整体遵循率为 90%，其中 66% 的提示被完全遵循。

模型架构与训练

• 模型架构：基于稀疏专家混合 (MoE) Transformer，结合了 Google 的多模态研究历史和语言模型研究进展。
• 训练基础设施：使用 Google TPUv4 加速器进行训练，涵盖多种多模式和多语言数据。
• 数据集：包括网络文档、代码、图像、音频和视频内容，以及多语言数据和语言学材料。

负责任的部署方法

• 模型政策：在部署前制定模型政策，评估和减轻潜在危害。
• 评估流程：包括对模型性能、安全性和伦理影响的全面评估。
• 危害缓解：确保模型在各种任务中的可靠性和安全性，特别是在处理敏感数据时。

总结

Gemini 1.5 Pro 是一个在长上下文处理和多模态理解方面表现出色的模型。它不仅在处理大量文本、视频和音频数据时表现出卓越的能力，还在多个核心任务上超越了其前身。通过结合先进的架构和训练基础设施，Gemini 1.5 Pro 在效率和性能上实现了显著的提升，为未来的多模态和长上下文任务提供了强大的支持。