2024-11-03-复旦大学-大语言模型赋能自动化测试实践_挑战与展望_54页_11mb

大语言模型赋能自动化测试：实践、挑战与展望

目录

• 基于大语言模型的等价类划分测试技术
• 基于大语言模型的测试输入增强
• 基于大语言模型的场景测试用例生成
• 基于大语言模型的跨APP测试用例迁移
• 挑战与展望

基于大语言模型的等价类划分测试技术

• 大语言模型可分析程序代码，自动划分等价类。
• 针对代码实现三角形判别逻辑，模型推理生成多种等价类输入。
• 对比实验表明，该工具测试输入更少、分支覆盖更高，明显优于基于搜索与符号执行的传统工具。
• 输入调用深层次代码无改善效果，反而成本更高。

基于大语言模型的测试输入增强

• 利用真实流量数据结合大语言模型生成符合约束的测试输入。
• 辅助模型分析参数间约束关系，生成更多符合用户实际操作场景的输入。
• 落地实践表明，该方法提升了代码覆盖率，预分析与流量数据约简有助于提升约束提取准确性。

基于大语言模型的场景测试用例生成

• 利用录制的场景流量数据，结合自然语言理解能力解析API文档，生成测试用例代码。
• 通过语义理解将测试用例描述文档转化为可执行测试操作和输入，并获取预期结果。
• 已成功应用于多个企业业务模块，实现高覆盖率且减少人工参与。

基于大语言模型的跨APP测试用例迁移

• 面向界面自动化测试场景，针对源功能与目标功能相似的设计，实现测试用例迁移。
• 利用控件上下文信息与精准定位支持生成可执行步骤，显著提升迁移成功率（从69%提升至89%）。
• 对比主流工具，迁移成功率与稳定度高，支持更复杂执行流差异与事件不一致情况。

挑战与展望

• 挑战

  1. 幻觉问题
  2. 边界条件生成偏差
  3. 复杂结构输入生成限制
  4. 文档缺失导致Oracle生成不可靠

• 展望

  1. 实现自动化测试用例完全生成。
  2. 改进大语言模型技术支持功能缺陷检测和复杂搜索。

结语

报告总结了AI方法在自动化测试中的成果、挑战及未来方向，指出大语言模型对提高测试效率提供了有效支撑，是自动化测试智能化的重要方向之一。