大模型在端到端交互测试的探索与实践_32页_4mb

2024 AI+研发数字峰会总结

核心内容

2024 AI+研发数字峰会在北京举行，聚焦AI技术在研发领域的应用，特别是大模型在端到端交互测试中的探索与实践。会议重点介绍了如何通过AI技术提升测试效率，优化协同流程，实现研发与测试的智能化融合。

主要观点

• AI驱动研发变革：通过AI技术实现测试流程的自动化与智能化，推动研发效率提升。
• 测试流程优化：从传统需求驱动的多角色串行协同模式，转向以AI agent为核心的智能化测试模式。
• 端到端测试能力：大模型在测试需求分析、测试用例生成、缺陷追踪、智能定位等环节发挥了重要作用。
• 工具与AI结合：通过AI增强传统测试工具的能力，实现精准测试、用例推荐、Bug定位等关键功能。
• 用户体验提升：AI工具需精准识别用户问题，减少体验损耗，提升测试效率。
• 知识沉淀与工程化：通过构建领域知识图谱、标准化测试流程，实现测试能力的规模化和结构化管理。

关键信息

一、背景介绍

• 贝壳找房作为一站式居住服务平台，涵盖二手房、新房、租赁及家居装修等业务。
• 测试流程从手工测试向自动化测试演进，逐步实现持续测试。

二、问题与痛点分析

• 传统测试痛点：
  • 多角色串行协同导致效率低下。
  • 工具提效有上限，测试场景耗时长。
  • 测试与研发流程割裂，质量反馈环滞后。
• AI提效难点：
  • 质量域工具多样，需结合AI提升测试能力。
  • 需要建立标准化的AI模型工程，支撑测试流程的优化。

三、大模型在端到端测试中的探索

• AI加持下的效率提升：
  • 个人效率提升：通过CUI、多入口、Agent化形式实现测试任务的自动化。
  • 协同成本降低：AI agent实现测试流程的全链路自动化。
• 智能化测试能力演进：
  • 从手工测试到自动化测试，再到持续测试。
  • 结合多模态大模型与UI测试自动化能力，实现UI测试用例自动生成与多端运行。
• 测试策略生成：
  • 基于需求，通过AI agent生成测试策略，包括需求澄清、风险关注、测试建议等。
  • 沉淀领域知识，辅助测试实践，提升测试岗位的认知与效率。

四、技术实践

• Agent智能体设计：
  • 创建助手（Assistant），提供特定场景的工具和提示。
  • 通过Prompt引导AI执行测试任务，实现自动化问题拆解与解决。
• 代码变更影响分析：
  • 识别变更方法、分析影响链路及对应接口。
  • 提供配置变更影响范围评估，增强测试策略的针对性。
• 测试用例推荐与生成：
  • 基于多源头数据（历史用例、测试日志、流量回放等）进行精准用例推荐。
  • 实现测试用例的自动生成，覆盖不同场景和规则。
• 缺陷追踪与智能定位：
  • 通过大模型分析错误日志，智能定位代码错误。
  • 实现自测报告一键生成，提升准入流程效率。
• 与传统工具的融合：
  • 与CodeLink、KetestCopilot等工具深度结合，实现测试流程的智能化。
  • 支持Java环境下的接口影响分析，实现精准测试。

五、用户交付端智能化测试能力

• UI测试自动化：
  • 多模态大模型深度理解UI图，结合UI测试自动化能力，实现测试用例自动生成与多端运行。
  • 自动上报Bug，提升移动端测试效率。
• Prompt与知识库结合：
  • 基于Prompt设计和知识库构建，实现业务大脑的智能化测试能力。
  • 提升测试用例生成的准确性和覆盖范围。

六、业务场景实际应用

• 提佣推城项目：
  • 涉及全国多个城市、不同岗位角色的佣金方案线上化改造。
  • 通过AI agent实现测试流程的自动化，减少交付时间，提升效率。
• 动态Prompt设计：
  • 提供结构化模板，实现测试用例的精准生成。
  • 支持不同区间、不同规则的测试用例设计，确保覆盖全面。

总结与展望

• 可持续发展：
  • 通过“知识+场景+Agent”的模式，实现测试能力的持续迭代。
  • 结合知识图谱、数据体系等，推动测试流程的智能化与结构化。
• 模型工程能力：
  • 深耕原子能力，构建Prompt模式，融合传统与大模型方法。
  • 推动测试流程的标准化和高效化。
• 应用场景拓展：
  • 关注全流程提效，从产品、开发到测试的协同。
  • 在垂直场景中持续深入，推动测试与AI协同测试的习惯形成。

未来展望

• AI+测试的深度融合：通过不断优化AI agent的智能能力，实现测试流程的全面智能化。
• 知识沉淀与共享：构建领域知识图谱，推动测试能力的规模化应用。
• 持续提效：在测试设计与执行阶段充分发挥AI能力，实现研发效率的全面提升。