人工智能赋能系统研制试验与鉴定指南手册2025

发展性测试与评估 (DT&E) 人工智能赋能系统指南总结

本指南旨在支持国防部长办公室 (DoD) 在人工智能 (AI) 领域的发展性测试与评估 (DT&E)，以应对 AI 技术的快速发展及其带来的独特挑战。指南强调了 AI 系统，特别是机器学习 (ML) 技术在测试中的新型问题，如模型不可预测性、对输入的敏感性、模型复杂性和训练数据依赖性，这些因素使传统的全面测试方法不再适用。指南提出了一系列新方法论，包括早期介入开发过程、使用形式化方法、可解释性 AI 技术以及建模与仿真 (M&S) 的应用，以增强测试的精确性和覆盖面。

DT&E 的核心变化包括强调早期测试介入，以确保需求可测试且工程化可行。对于 AI 系统，测试活动需涵盖数据收集、模型训练、性能评估和持续监控，以应对模型漂移和性能退化。形式化方法被推荐用于验证数据和模型的质量，而可解释性 AI 技术则有助于提高模型的透明度。此外，指南强调了 T&E 员工与合同、需求制定、概念构想 (CONEMP) 开发及认证社区的更广泛互动，这对确保 AI 系统的安全性、负责任使用以及与联合能力和系统互操作性的兼容至关重要。

指南还探讨了 AI 各类别（如监督学习、无监督学习、强化学习和生成式 AI）的特定测试挑战，并提供了跨整个生命周期的测试策略框架。未来版本将扩展包含生成式 AI 的测试、强化学习的详细讨论以及过程导向的内容，以应对新兴技术需求。

核心挑战与创新措施

• AI 测试的独特性：由于 AI 模型的复杂性和数据依赖，需采用创新测试策略。
• 形式化方法与 M&S：形式化方法如静态分析和模型验证可简化复杂系统测试；M&S 则用于扩展测试范围。
• 早期介入：T&E 提前介入开发，以优化设计和测试效率。
• 认证支持：测试数据和模型需通过验证、验证和认证 (VV&A) 确保可靠性，特别是在安全、网络安全和负责任 AI 方面。

总结而言，本指南为 DoD AI 测试提供全面框架，旨在提升国家安全防御能力并确保 AI 技术的高效集成。