基于多模态大模型的用户界面交互和测试_49页_4mb

2024 AI+研发数字峰会总结

核心内容

2024 AI+研发数字峰会在北京举行，聚焦于AI在软件研发领域的应用，特别是多模态大模型在用户界面交互与测试中的应用。会议重点探讨了如何利用AI技术提升软件测试的自动化水平，解决传统测试方法在复杂用户界面测试中的不足，实现降本增效的目标。

主要观点

1. 用户界面测试现状与挑战

• 传统测试工具（如 Monkey、Fastbot2、Droidbot、Ape、WCTester、Stoat、TimeMachine、ComboDroid、Humanoid、Q-testing）存在诸多局限，例如：
  • 合适的文本输入：难以生成符合实际语义的输入内容。
  • 连续长串操作：无法有效模拟复杂的用户操作流程。
  • 复合操作：无法处理多个组件之间的交互。
  • 页面功能理解：缺乏对页面功能的深度理解，导致测试覆盖率不足。
  • 逻辑错误的发现：难以识别深层次的逻辑缺陷。

2. 测试输入生成技术

• 基于语言模型（LLM）的文本输入生成：通过构建上下文感知的提示（prompt）机制，提升测试输入的语义准确性。
• 提示生成规则：
  • 全局上下文（GCPtn）：如“这是⟨app name⟩应用，在其⟨activity name⟩页面，输入类别是⟨input category⟩”。
  • 局部上下文（LCPtn）：如“此输入是关于⟨local[n]⟩”。
  • 输入组件模式（IWPtn）：如“请输入⟨widget[n]⟩，⟨widget[n]⟩是”。

3. 面向测试路径规划的自动化GUI测试技术

• 通过LLM驱动的自动化测试脚本生成，提升测试的智能化与自动化水平。
• 在ICSE 2023中提出的ZTypist方法，通过上下文感知的文本生成提升测试覆盖率。

4. 基于多模态大模型的自动化GUI测试技术

• 利用多模态大模型（如视觉与文本结合）提升测试的全面性与智能化。
• 在ICSE 2024中提出的QTypist方法，显著提升了测试覆盖率和发现的缺陷数量。
• QTypist在多个测试案例中表现优异，例如：
  • Passing rate: 0.87
  • 平均提升效果：活动覆盖率提升28%，页面数提升52%

5. 针对文本输入的模糊测试技术

• 通过生成非常规文本输入，检测应用在异常输入下的稳定性。
• 在ICSE 2024中提出的CrashTranslator方法，能够从堆栈跟踪中自动复现崩溃场景，成功复现61.3%的崩溃，优于现有方法。

6. 面向文本输入组件的交互提升技术

• 提升文本输入组件的交互体验，使其更贴近真实用户行为。
• Unblind Text Inputs（CHI 2024最佳论文提名）通过LLM预测文本输入的提示信息，提升低视力用户的使用体验。

关键信息

重要成果

• 多篇论文发表于 ICSE、TSE、CHI 等软件工程与人机交互领域的顶级会议/期刊。
• 实际应用案例：
  • 贝壳找房app、抖音app、华为鸿蒙生态、新能源汽车车载系统等已开始应用或对接相关技术。
  • QTypist在多个测试案例中显著提升测试覆盖率和缺陷发现率。

技术亮点

• LLM驱动的测试输入生成：将测试问题转化为自然语言问答任务，提升测试的智能化水平。
• 多模态大模型：结合视觉与文本信息，提升测试的全面性和准确性。
• 反馈机制：通过不断反馈测试结果，优化LLM的测试策略，使其更接近人类测试行为。

未来展望

• 随着AI技术的发展，软件测试将更加智能化、自动化。
• 在开放源码和AI驱动的环境下，软件测试需要新的方法论与技术体系。
• 需要进一步探索LLM在测试中的潜力，解决当前存在的挑战，如测试覆盖率不足、测试输入与真实用户行为差异大、测试过程的可解释性差等。

技术应用与影响

测试工具提升

• QTypist显著提升了测试覆盖率，其在不同测试案例中的表现如下（Passing rate）：
  • Random-/rule-based methods: 0.20–0.65
  • Constraint-based methods: 0.28–0.38
  • Learning-based methods: 0.45–0.87

测试效率提升

• 平均提升效果：
  • 活动覆盖率提升28%–52%
  • 页面数提升30%–75%

应用场景

• 移动应用测试：如社交、购物、金融、健康等领域的应用。
• 系统级测试：如新能源汽车车载系统、鸿蒙生态等。

总结

本次峰会展示了AI在软件测试中的最新进展，特别是在文本输入生成、自动化GUI测试、多模态大模型应用等方面。通过结合自然语言处理与计算机视觉技术，LLM被成功应用于测试输入生成、测试路径规划、测试反馈优化等环节，显著提升了测试效率和缺陷发现率。未来，随着AI技术的不断成熟，软件测试将向更智能化、更自动化的方向发展，为软件质量保障提供更强有力的支持。