> **来源：[研报客](https://pc.yanbaoke.cn)** # 大疆机载智能算法开发白皮书总结 ## 核心内容 大疆行业无人机开放了机载算力，允许开发者将自定义算法部署至无人机，以实现垂直业务场景的智能检测能力。该平台支持 YOLOv8 和 HRNet18 两种模型结构，为开发者提供了详细的开发流程和适配说明。 ## 主要观点 - **算力开放**：大疆提供算法上机的配套工具，简化了模型定制流程。 - **智能作业**：通过云上算法媒体流融合，实现飞行画面的实时智能检测与自动作业流。 - **算法保护**：大疆不保存训练样本与模型数据，也不提供云端推理平台，不参与模型训练。 - **开发流程**：包括注册开发者、申请权限、获取模型 patch、数据准备、本地训练、模型转化与验证、模型组合、模型分发等。 - **模型适配**：开发者需在开源项目基础上应用 patch 文件进行训练，部分参数不可修改。 ## 关键信息 ### 一、智能算力开放平台简介 - 提供算法上机配套开发工具，便于定制化模型。 - 支持实时智能检测和自动作业流。 - 算法保护机制：不保存训练数据，不提供云端推理。 ### 二、机载算法开发流程 1. **申请成为开发者** - 登录大疆开发者网站，填写信息，自动审核通过。 2. **申请机载算法开放权限** - 提交公司简介和用户场景介绍，等待审核结果。 3. **获取模型 patch 并训练** - 下载 patch 文件及适配说明。 - 使用 YOLOv8 或 HRNet18 开源工程，应用 patch 文件进行训练。 4. **数据准备** - 训练数据应来源于真实场景，且与目标场景高度一致。 - 数据规模越大、质量越高，模型性能越好。 5. **本地模型训练** - 使用 YOLOv8 和 HRNet18 开源工程，应用 patch 文件进行训练。 - YOLOv8 支持目标检测，HRNet18 支持语义分割。 6. **模型转化与验证** - 模型训练完成后，上传至平台进行量化和验证。 - 量化图片建议 100-1000 张，以 zip 格式上传。 - 模型文件名在用户侧可见，需谨慎命名。 7. **模型组合** - 检测算法（A-D）与分割算法（1-4）需一对一组合，避免多对多关系。 - 上传检测算法时，需在识别类型名称中明确标注组合关系。 8. **模型分发** - 通过在线或离线方式分发模型。 - 在线分发需指定 SN，离线分发需通过 SD 卡导入至 PILOT 2 App。 ### 三、飞行器使用流程 1. **获取算法** - 在 DJI Pilot 2 App 中，进入智能管理页面，点击“算法管理”。 - 支持通过 SD 卡或云端导入算法。 2. **使用第三方算法** - AI识别功能：选择算法，设置置信度、告警条件，支持告警快照和提示方式。 - 巡逻航线：在规划区域内自动检测目标，支持设置告警方式和触发动作。 - 告警列表：查询告警记录，支持报告导出。 ### 四、AI算力开放-YOLOv8适配说明 - **适配及训练流程** - 从 GitHub 下载 mmyolo 代码，切换至 v0.6.0 标签。 - 应用 patch 文件进行训练，使用指定配置文件。 - 控制识别类别数量不超过 10，num_classes ≤ 10。 - 训练时需设置 CUDA_VISIBLE_DEVICES=0，使用单卡训练。 - **重点提示** - 若使用 4K 模型，需在配置文件中将 widen_factor 从 0.5 调整为 0.25。 - **不支持修改的参数** - deepen_factor、widen_factor、strides、last_stage_out_channels、num_det_layers、norm_cfg 等参数不可修改。 - **开发流程（Linux）** - 安装 Anaconda、MMYOLO、PyTorch、CUDA、CUDNN、VC++14.0。 - 配置训练参数，设置数据集路径、类别信息、训练配置等。 - 使用 LabelImg 进行标注，训练模型后交付 pth 文件和量化标定图片。 - **开发流程（Windows）** - 新建文件夹结构，确保路径无中文和空格。 - 安装 Git、Anaconda、CUDA、CUDNN、VC++14.0。 - 配置训练参数，使用指定配置文件进行训练。 - 交付 pth 文件和量化标定图片。 ### 五、AI算力开放-HRNet18适配说明 - **适配及训练流程** - 从 GitHub 下载 mmsegmentation 代码，切换至特定 commit ID。 - 应用 patch 文件进行训练，使用指定配置文件。 - 控制分割类别数量不超过 5，num_classes ≤ 5。 - **支持修改的参数** - 除部分参数外，其他参数均不可修改，否则可能影响模型性能。 - **需要交付的文件和参数** - pth 文件。 - 量化标定图片（建议 500-1000 张）。 ### 六、视频及照片 AI 信息解析 - **功能特性** - 支持从 JPEG 图片和 MP4/MOV/TS 视频中提取 AI 元数据。 - 自动绘制识别框和标签。 - 提供 Web 界面进行交互和结果展示。 - **目录结构** - web_demo/：包含 server.py、index.html、modules、libs、resources、protos。 - modules/：存放核心解析模块。 - libs/：依赖库，包括 Protobuf 运行时库、视频格式解析模块。 - resources/：可视化资源，如字体和图标。 - **运行步骤** - 安装 Python 3.6+ 和 Pillow。 - 启动服务：在 web_demo 目录下运行 `python3 server.py`。 - 浏览器访问 `http://localhost:8000`。 - 上传图片或视频进行解析，查看识别结果。 - **集成到自有系统** - 导入模块并初始化解析器。 - 解析图片或视频，获取 JSON 数据和绘制后的图片。 ## 总结 大疆通过开放机载算力，为开发者提供了将自定义算法部署到无人机上的完整流程，包括注册、申请、训练、转化、验证、组合、分发等步骤。开发者需在指定开源工程基础上应用 patch 文件，注意部分参数不可修改。适配 YOLOv8 和 HRNet18 模型，分别用于目标检测和语义分割。此外，提供了一套完整的视频和图片 AI 信息解析方案，支持 Web 界面交互和自定义系统集成。