AI辅助测试开发端到端研发提效_41页_6mb

2024 AI+研发数字峰会总结

核心内容

本次峰会围绕“AI驱动研发变革，促进企业降本增效”的主题，重点探讨了AI在测试开发领域的应用，特别是如何通过AI技术提升测试用例设计和自动化脚本生成的效率。中兴通讯有线研究院测试域AI应用负责人刘鑫分享了AI辅助测试开发的端到端方案，包括AI在测试用例复用、文本用例生成、关键字推荐和脚本生成四个核心实践技术点。

主要观点

• AI在测试开发中的价值：AI工具能够提升研发效率，优化决策过程，增强创新能力，并通过知识工程系统化积累和共享测试相关知识。
• AI辅助测试设计活动提效：通过AI辅助测试用例的生成与复用，提升测试用例交付效率，实现需求到测试用例的高效转化。
• AI辅助脚本开发活动提效：基于RobotFramework框架，AI可辅助完成从自然语言测试用例到自动化脚本的转换，提升脚本生成效率和自动化覆盖率。
• 知识工程的重要性：知识工程建设是AI应用落地的关键，通过标准化知识获取、存储和评估，实现测试流程的智能化与自动化。

关键信息

一、背景

• 从传统单智能网关向FTTR（Fiber To The Room）组网转变，显著提升了网络性能和设备扩展性。
• 随着组网复杂性的增加，测试用例和脚本的复杂度也随之上升，对测试效率提出了更高要求。

二、问题与挑战

• 测试用例和脚本的复杂度成倍增加，给测试交付带来了巨大压力。
• 需求变更频繁，导致测试用例难以维护和复用。

三、解决思路与整体方案

• RAG方案：通过检索增强技术（RAG）解决模型知识局限性问题，适合知识更新频繁的场景。
• AI触点工具：将AI能力嵌入测试开发流程，实现自动化、智能化的测试设计与脚本生成。
• 知识工程建设：构建统一的测试点与文本用例QA对知识库，通过知识获取、存储、评估与应用，提升测试流程的智能化水平。

四、具体实现与技术实践

1. 用例复用推荐

• 实现方案：基于测试点进行语义检索，结合关键字和语义信息，推荐复用用例。
• 实践价值：
  • 减少重复用例编写，提升测试效率。
  • 提高测试用例的一致性和可靠性。
• 知识规范：
  • 测试点应尽可能原子化。
  • 用例名称需统一格式并清晰标识测试点。
  • 预置条件、测试步骤、预期结果需结构化描述。
• 知识获取：通过人工治理和大模型自动化抽取，构建测试用例知识库，目前已有18w+ QA对。

2. 文本用例生成

• 实现方案：利用RAG技术，通过自然语言测试用例的意图识别，生成DSL设计的文本用例。
• 实践价值：
  • 提升文本用例的生成效率和质量。
  • 通过意图识别和关键字召回，实现用例的智能化设计。
• 知识应用：结合DSL关键字库，通过Prompt优化和语义检索，生成高质量的文本用例。

3. 关键字推荐

• 实现方案：通过步骤切片和语义检索，从DSL关键字库中召回相关关键字。
• 实践价值：
  • 提高关键字的召回率，优化脚本生成效率。
  • 减少关键字冗余设计，提高脚本可读性和维护性。
• 知识规范：
  • 关键字命名需符合用户视角，使用动宾结构。
  • 关键字参数需统一命名规则，便于管理和使用。
• 知识获取：通过在线语料采集，持续优化关键字库，目前已有2735个切片。

4. 脚本生成

• 实现方案：基于RAG技术，将关键字推荐与测试用例结合，生成RF脚本。
• 实践价值：
  • 实现从自然语言用例到自动化脚本的高效转化。
  • 提升脚本生成效率和自动化覆盖率。
• 脚本生成Prompt：
  • 严格遵循RF语法规范。
  • 仅选择一个关键字生成一行脚本。
  • 参数需符合规范并准确传递。

五、度量与改进

• 复用用例召回率：成功召回的复用用例数 / 复用用例总数，目标提升至80%以上。
• 文本用例生成率：AI生成的文本用例数 / 文本用例总数，目标提升至更高水平。
• 关键字召回率：成功召回的关键字数 / 脚本中的关键字总数，目标提升至更高水平。
• 脚本生成率：AI生成的脚本行数 / 脚本行总数，目标提升至更高水平。

六、总结与展望

实践价值

• 用例交付：项目人均迭代内交付需求用例 $100+$，$78%$ 的复用用例通过AI自动关联。
• 脚本交付：自动化覆盖率提升至79%，$200+$ 脚本通过AI生成。

技术领先

• 创新性：目前业界针对自然语言到RF脚本生成的方案较少，本实践具备创新性。
• 前瞻性：从需求到测试脚本的端到端生成，为后续Autowork方案打下坚实基础。
• 用户体验：通过一站式工作台整合RDC、iCenter、Ztest、gerrit等工具，提升TSE与ATE的工作效率。
• 适用性与可扩展性：适用于所有基于需求到自动化脚本交付的测试活动，支持AI能力与触点工具解耦，便于扩展和推广。

展望未来

• 自生成、自校验、自修复：通过这三个自动化环节，提升知识迭代反馈速度，实现流程自动化。
• 需求到版本发布测试活动的自动化：
  • 需求分析自动化：通过GWT和需求评审DoD对生成内容进行自动化验证。
  • 脚本执行自动化：模拟脚本执行，对生成内容进行自动化验证。
  • 测试分析自动化：调用运维诊断服务，自动排除环境问题，提升执行结果分析的准确率。

通过本次峰会的分享，可以看到AI在测试开发领域的巨大潜力，特别是在用例设计、脚本生成、关键字推荐和知识管理等方面的应用，为测试流程的智能化和自动化提供了可行的技术路径。未来，随着AI技术的不断演进，AI在测试开发中的应用将进一步深化和拓展。