GPT-4技术报告（英文版）-OpenAI_98页_947kb

GPT-4技术报告总结

GPT-4是一种大规模多模态模型，可接受图像和文本输入并生成文本输出。尽管在现实场景中不及人类，但在多项专业和学术基准测试中展现人类水平的表现，例如在模拟司法考试中取得约前10%的分数。该模型基于Transformer架构，通过预训练和对齐训练提升事实准确性及行为合规性。项目核心是开发可跨不同规模预测行为的基础设施和优化方法，使基于小型模型能准确预测GPT-4部分性能特性。

报告指出，GPT-4在传统NLP基准测试中表现优于先前大模型及多数SOTA系统，且在多语言场景中具有强大能力，包括低资源语言如拉脱维亚语、威尔士语和斯瓦希里语。其多模态特性使模型能理解图像内容并辅助生成答案，例如通过分析图表或图像面板完成计算任务。但GPT-4仍存在局限，如无法处理训练数据截止日期后的事件，易产生事实性错误（“幻觉”），且对复杂场景的推理可能失误。

安全改进措施包括领域专家对抗性测试、RLHF（人类反馈强化学习）及基于规则的奖励模型（RBRM），有效减少生成有害内容和不当回答的频率。报告强调需注意模型在高风险场景下的潜在漏洞，并通过监控与快速迭代流程保障部署安全性。GPT-4的性能预测依赖小规模模型表现，但部分任务（如Hindsight Neglect）显示其能力随规模扩大而增强。

在考试测试中，GPT-4在法考（MBE+MEE+MPT）等评估中均优于GPT-3.5，且在跨语言基准（如MMLU）中表现突出，仅在少数语言中略逊于英文模型。然而，部分任务（如AP统计学）仍需进一步优化。报告列出模型在事实性测试、公共基准（如TruthfulQA）和代码生成等领域的改进，并强调安全指标提升，如有毒回答生成率降至0.73%（GPT-3.5为6.48%）。

尽管能力提升显著，GPT-4仍存在数据污染、指令遵循不足及可靠性问题。模型对部分危险查询（如合成有害物质）的拒绝率提高82%，但需警惕“逃逸”手段。未来计划开放更多基准数据，强化透明度，平衡竞争与安全需求。报告通过附录详细展示模型架构、训练方法及评估结果，同时兼顾协作与责任，提及与微软的合作及法律、安全性团队的贡献。整体上，GPT-4代表AI安全与性能研究的重要进展，但仍需持续优化以应对潜在风险。