【谷歌】Gemma技术报告_16页_440kb

Gemma是Google DeepMind基于Gemini模型研发的轻量级开源语言模型系列，包含2B和7B参数版本。该模型继承了Gemini的技术框架，采用Transformer架构及多种改进技术，如多头注意力、RoPE嵌入和GeGLU激活，并在模型规范化、数据复制等训练流程中优化，以提升效率与性能。其训练数据主要来自英文网络文档、数学和代码，聚焦单语任务而非多模态或多语言能力。

Gemma在多项学术基准测试中表现突出，在11/18文本任务中优于同类开源模型。具体性能指标显示，7B版本在MMLU（5-shot, top-1）达到64.3%，在MBPP代码生成任务中达44.4%，超过Llama-2、Mistral等竞品。在数学推理（GSM8K）和代码生成（HumanEval）任务中分别领先10分和14分。安全性方面，模型在人工评估中表现出优于Mistral的倾向性（58%胜率）和安全性（51.7%胜率），并通过过滤机制去除敏感信息和低质量数据，降低有害输出风险。碳足迹评估显示，训练过程碳排放约131吨，但依托Google碳中和数据中心，环保影响可控。

模型分为预训练和微调版本，支持对话、推理、代码生成等场景。2B版本适用于CPU和边缘设备，7B版本针对高性能GPU/TPU环境。为避免过拟合风险，采用分层过滤策略，包括排除个人数据、减少有害内容传播，并通过对比实验验证记忆数据的有效性。开源代码与推理工具的提供旨在促进AI安全研究和社区创新，同时配套“负责任AI工具包”辅助开发者规范使用。

报告强调负责任部署的重要性，提出需针对开源模型的潜在风险（如对抗性攻击、数据泄露）制定缓解策略，并呼吁AI社区超越“开放与封闭”二元对立，以更细致的协作方式评估模型影响。虽未完全覆盖所有应用场景，但通过广泛基准测试（如TruthfulQA、Winogrande）和领域验证（如编程、数学、常识推理），Gemma展示了开源模型在性能与安全上的可行性。研究团队指出，尽管模型表现优异，但需持续改进以应对复杂推理、对齐性等挑战，并可能采用分阶段发布、强化测试等措施保障AI发展。该研究体现了Google在开源技术与安全责任间的平衡探索。