2023-07-09-CAICV-感知系统触发场景获取及潜在危害分析_24页_3mb

感知系统触发场景获取及潜在危害分析总结

核心内容概述

本报告由北京地平线机器人有限公司刘泽晖撰写，旨在分析自动驾驶车辆感知系统在无软硬件故障情况下仍可能无法实现预期功能的问题，提出基于数据驱动的触发场景获取与测试方法，以及针对触发条件的潜在危害分析。报告分为研究背景、总体框架、研究情况介绍、未来计划四个部分。

主要观点与关键信息

1. 研究背景

• 自动驾驶车辆的感知系统性能局限是预期功能安全问题的主要来源。
• 感知系统可能在复杂环境（如恶劣天气、复杂光照、传感器遮挡等）中出现误判或漏检，从而影响安全性能。

2. 总体框架

• 基础场景与触发条件分析：识别并分析自动驾驶系统中关键的触发条件。
• 风险评估：对触发条件进行暴露率、穿透率和危害率的评估。
• 基于错误注入的安全边界研究：通过模拟感知系统故障，探索其安全边界。
• 感知系统测试与评估：构建测试场景，评估感知系统在不同条件下的性能。
• 基于当前框架的进一步探索：提出未来研究方向，包括场景搜索算法和测试覆盖率评估。

3. 研究情况介绍

3.1 逻辑场景的获取与加速测试

• 通过数据驱动方法收集真实场景，并参数化存储在数据库中。
• 逻辑场景参数包括：自车速度、前车速度、前车减速时间、自车与前车/侧后车的距离等。
• 通过场景泛化方法，生成大量测试场景以提高测试覆盖率。

3.2 触发条件的分析与风险评估

• 提出包含暴露率、穿透率和危害率的三维风险评估方法。
• 暴露率参考ISO 26262，分为E1~E4四个等级。
• 危险度参考ECE R157，分为S0~S3四个等级。
• 风险评估公式为：$$ R = f(P, S) $$，其中P为危害发生概率，S为危害严重性。

3.3 面向测试的触发场景

• 构建测试场景以验证感知系统的安全性。
• 场景包括：切入、切出、前车制动等基础场景。

3.4 基于错误注入的触发场景性能边界要求

• 通过错误注入方法模拟感知系统故障（如漏检、误检、测速测距不准等）。
• 分析不同故障注入时间对系统是否发生碰撞的影响，确定感知系统安全边界。

4. 未来计划

• 延续感知系统SOTIF测试与评价技术方案：深化和落实测试与评价的标准化。
• 触发条件描述：研究形成触发条件的关键变量和特征，基于感知认知结果进行描述。
• 触发条件复现：研究触发条件在不同环境下的复现可靠性。
• 触发条件评估：研究不同触发条件的风险评估方法，基于NDS数据进行暴露率评估。
• V2X触发条件测试与评估：基于场地实验开展V2X系统的触发条件测试与评估。

场景搜索与测试覆盖率

• 场景搜索算法：包括贝叶斯优化、LaMCTS和粒子群算法，用于在有限算力下挖掘更多潜在的bad case。
• 测试覆盖率评估：使用F1指标（Recall和Precision的加权平均）评估搜索算法的测试覆盖率。
• 场景泛化：通过关键参数的泛化，生成1728个测试场景，记录TTC值以评估碰撞风险。

感知系统故障注入分析

漏检场景

• 示例：自车车道保持行驶，前方突然出现静止车辆，接近过程中丢失感知目标。
• 参数包括：初始横向距离、初始纵向距离、丢失目标距离等。
• 通过模拟不同场景，评估漏检对系统安全的影响。

误检场景

• 示例：自车车道保持行驶，误检前方区域存在静止车辆。
• 参数包括：初始横向距离、初始纵向距离、误检车辆位置等。
• 针对不同场景，分析误检的指标要求。

测距误差场景

• 纵向测距误差：对跟车场景、静止障碍物、减速车辆、切入车辆的纵向测距误差进行分析。
• 横向测距误差：对切入车辆和相邻车道车辆的横向测距误差进行分析。
• 通过不同测距误差注入时间，分析是否会导致碰撞，确定测距误差边界。

总结

• 关键场景：包括切入、切出、前车制动等基础场景，以及基于错误注入的漏检、误检、测距误差等场景。
• 测试方法：采用数据驱动和错误注入方法，生成大量测试场景并进行风险评估。
• 风险评估：结合暴露率、穿透率和危害率，提出三维风险评估方法，并通过F1指标评估测试覆盖率。
• 未来方向：继续推进感知系统SOTIF测试与评价的标准化，探索触发条件在不同环境下的复现可靠性，以及V2X系统的触发条件测试。

附录：关键参数与测试数据

测试覆盖率定义

• Recall：$$ \mathrm{Recall} = \frac{\mathrm{TP}}{\mathrm{T}} $$
• Precision：$$ \mathrm{Precision} = \frac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FP}} $$
• F1指标：$$ F1 = \frac{2 * \mathrm{Recall} * \mathrm{Precision}}{\mathrm{Recall} + \mathrm{Precision}} $$

风险等级划分

• 暴露率：E1（非常低概率）、E2（低概率）、E3（中等概率）、E4（高概率）
• 危险度：S0（绿色，无危害）、S1（红色，碰撞前、后）、S2（橙色，碰撞侧）、S3（黄色，无交互）

感知系统故障注入模式

• 模拟漏检、误检、测速测距不准等感知系统故障，以评估其对系统安全的影响。
• 漏检与误检的参数范围包括：初始横向距离、纵向距离、目标位置等。
• 测距误差分析包括：不同纵向距离和横向距离下的影响，以及碰撞风险的评估。

测试结果

• 使用贝叶斯优化、LaMCTS和粒子群算法进行场景搜索，迭代次数为400次，初始采样点数为40。
• 通过错误注入测试，生成1728个场景，并记录TTC值，评估系统安全性。

结论

本研究通过数据驱动和错误注入方法，系统性地获取并分析了自动驾驶车辆感知系统的触发场景，提出了三维风险评估方法，并通过测试覆盖率指标评估了场景搜索算法的有效性。未来将继续深化SOTIF测试与评价的标准化，探索触发条件的复现可靠性，并开展V2X系统的触发条件测试与评估。