20250320-中智凯灵_北京_科技-质量大模型及其在接口测试场景下的实践_23页_2mb

报告摘要

本次2024 AI+研发数字峰会在北京举行，聚焦于质量大模型及其在接口测试场景下的实践应用。会议由李庆泉（蚂蚁集团）主讲，围绕大模型如何赋能软件研发、构建质量大模型的路径、接口测试中的具体应用以及未来技术趋势展开。

大模型具备赋能软件研发全流程的能力，能够覆盖质量测试的多个阶段，如需求分析、测试用例生成、问题定位与修复等。
质量测试领域存在三大痛点：
- 覆盖率要求高：需全面、准确地发现各种特殊情况与边界问题。
- 自动化难度大：由于经验密度高和业务特异性强，难以实现自动化或手段难复用。
- 人工成本高：测试用例撰写、质量问题分析等工作依赖大量人工。
质量大模型的三大能力：
- 领域知识注入：增强模型对质量知识的理解。
- 多任务能力获取：支持多种质量相关任务的执行。
- 拓宽应用边界：提升模型在不同场景下的泛化能力。
质量大模型的架构分为：
- 知识中心：整合质量知识、业务经验等信息。
- 执行中心：实现基础质量概念问答、端到端任务执行等功能。
- 服务中心：调度质量工具、支持外部知识增强问答等。

构建路径包含多个阶段：
- 数据构建：包括非结构化数据（质量知识、业务文档）和结构化数据（线上系统回流、历史数据沉淀）。
- 清洗与增强：提升数据质量，确保训练效果。
- 模型训练：
  - 继续预训练：注入专业知识，增强语言模型能力。
  - 指令微调：通过设计特定指令，使模型能够完成结构化数据任务，如测试用例生成。
- 部署应用：包括端到端对话、检索增强问答、工具调用与执行等。
指令微调的关键点：
- 任务选取：分为质量/业务知识问答和特定质量任务执行。
- 数据来源：基础知识（外部与内部）和任务数据（真实场景）。
- 指令构建技巧：
  - 明确任务需求。
  - 清晰描述推理逻辑与执行步骤。
  - 严格格式规约，降低工程难度。
  - 增强指令泛化能力，提升鲁棒性。
- 微调注意事项：
  - 平衡数据分布，避免过拟合。
  - 采用多卡训练、LoRA微调等技术，节省训练成本。
上下文学习与逻辑构建：
- 上下文学习：通过提供上下文信息，提升模型对任务的理解与执行能力。
- 逻辑构建：结合专家经验，构建结构化的推理过程，以实现更精准的校验点生成。

接口测试的特点与难题：
- 专业性：依赖专家知识与经验。
- 场景化：需结合特定业务逻辑。
- 复杂性：人工与时间成本较高。
质量大模型在接口测试中的应用：
- 校验点生成：通过输入接口信息（如接口名、入参、出参），自动生成校验点列表。
- Prompt组装：包括接口名称、任务所需信息、入参、出参等，确保模型理解任务需求。
- 推理步骤：
  - 识别出参中的关键字段。
  - 根据业务要求确定字段的取值范围与校验方式。
  - 撰写校验点列表。
- 输出规范：要求输出必须遵循JSON格式，每个校验点需包含特定字段。
业务知识问答：利用大模型进行自然语言问答，辅助质量人员快速获取所需信息。
工具执行：通过对话形式调用质量工具，实现自动化执行测试任务。

质量 + 大模型：未来产品将围绕质量与大模型的结合，提升研发效率。
垂类解决方案：设计一套通用的垂直领域大模型解决方案，适用于不同行业与场景。
大模型行业赋能框架：构建通用的垂类领域大模型提效框架，提升算法通用性与行业适用性。
技术趋势：
- 质量知识与业务经验的整合：应对海量质量知识的挑战。
- 多样化的质量任务：支持更广泛的质量相关任务。
- 前置问题发现：提升问题发现的效率与准确性。
- 代码能力与问答能力的兼顾：实现更全面的模型能力。