微软+利用大模型打造更聪明的猴子：下一代跨平台软件测试基础设施+Hydra+Lab-48页_14mb

HydraLab软件测试基础设施总结

引言

• 主题：利用大语言模型（LLM）打造更智能的软件测试工具，即下一代跨平台测试基础设施HydraLab。
• 演讲者：步绍鹏，微软中国高级研发经理，拥有多年研发和管理经验，领导构建开源云测系统HydraLab，并推动Azure OpenAI Service应用。
• 目标：通过测试工程化和智能涌现，移除手动测试弱点，实现自动化测试扩展。

软件测试演变

• 测试从手动向自动化转变：自动化测试虽能替换部分手动用例，但仍需维护和协调工程团队。
• 测试工程化需求：包括测试金字塔、持续集成系统、设备管理，旨在提升效率和覆盖范围。
• 挑战：自动化工具选择、成本高、易脆弱，工程化解决方案需定制，避免第三方平台潜在风险。

HydraLab架构

• 开源方案优势：定制化、可信、免费，针对内测应用避免数据暴露问题。
• 架构组件：管理中心、设备管理集群、测试任务调度、智能数据分析，整合Docker、Prometheus、Grafana等工具。
• 赋能技术：Azure OpenAI Service用于智能测试和分析。

智能测试与大模型应用

• 智能涌现：如MonkeyTest和ChaosMonkey实现混沌测试，LLM用于理解界面和生成功能。
• LLM应用：在代码生成、黑盒测试、性能数据解读中发挥作用，提高测试覆盖率和质量。
• 探索模型：SEE（Start、Extract、Evaluate）和强化学习，帮助生成测试用例和优化测试流程。

落地与成果

• 实施情况：每月运行5-8万测试任务，管理全球设备，支持单元、UI、Monkey、智能及性能测试。
• 大模型贡献：提升测试效率，减少维护负担，实现测试智能化路径决策。

未来展望

• 测试智能化深化：通过LLM整合更多工程环节，扩大AI在软件测试中的潜力。