> **来源：[研报客](https://pc.yanbaoke.cn)** # 大疆机载智能算法开发白皮书总结 ## 核心内容 大疆行业无人机开放了机载算力，允许开发者将自定义的AI算法部署至无人机，实现垂直场景的智能检测能力。该平台支持YOLOv8和HRNet18两种模型，提供完整的开发流程、使用流程和适配说明，帮助开发者完成从模型训练到实际部署的全过程。 --- ## 主要观点 - **算力开放**：大疆提供飞行器内置芯片算力，配合开发工具，使算法上机更加简单。 - **算法保护**：大疆不保存训练样本和模型数据，不提供云端推理平台，不参与模型训练。 - **开发流程**：开发者需注册并申请权限，下载模型patch文件，准备训练数据，进行本地训练，模型转化与验证，组合模型，最后分发至指定设备。 - **使用流程**：通过DJI Pilot 2 App或SD卡将算法导入飞行器，支持AI识别、巡逻航线和告警列表功能。 - **模型适配**：YOLOv8和HRNet18需在对应开源工程基础上应用git patch文件进行训练，部分参数不可修改。 - **平台支持**：支持Windows和Linux开发环境，提供详细的安装和配置步骤。 --- ## 关键信息 ### 一、智能算力开放平台简介 - **支持机型**：DJI Matrice 4系列、DJI Matrice 4D系列、DJI Matrice 400。 - **平台网址**：https://developer.dji.com/cn/ai-developer/ - **开发流程**： 1. 注册成为开发者。 2. 申请机载算法开放权限。 3. 获取模型patch并进行本地训练。 4. 模型转化与验证。 5. 模型组合。 6. 模型分发。 ### 二、机载算法开发流程 - **申请流程**： - 注册开发者。 - 提交公司简介及用户场景说明。 - 审核通过后获取资源。 - **模型训练**： - YOLOv8：适用于目标检测，需修改配置文件。 - HRNet18：适用于图像分割，同样需应用patch文件。 - **模型转化与验证**： - 上传模型至平台进行量化。 - 量化图片建议100-1000张，以zip格式上传。 - **模型组合**： - 检测算法（A-D）与分割算法（1-4）需一对一组合。 - **模型分发**： - 支持在线和离线分发。 - 离线分发需通过SD卡导入至PILOT 2 App。 ### 三、飞行器使用流程 - **获取算法**：通过DJI Pilot 2 App的“算法管理”页面。 - **使用第三方算法**： - **AI识别功能**：可调节置信度、开启告警、设置告警提示方式。 - **巡逻航线**：自动检测目标，支持设置告警方式和触发动作。 - **告警列表**：可查询记录并导出报告。 ### 四、AI算力开放 - YOLOv8适配说明 - **适配流程**： 1. 下载mmyolo源码。 2. 应用DJI提供的patch文件。 3. 修改配置文件，设置数据路径、类别信息、训练参数。 4. 安装依赖（PyTorch、mmcv、mmdet等）。 5. 执行训练命令。 - **关键配置**： - 数据集路径：D:\mmyolo_work\dataset - 配置文件路径：D:\mmyolo_work\mmyolo\configs\yolov8\yolov8_s_syncbn_fast_8xb16-500e_coco.py - 类别数量限制：≤10 - **交付文件**： - 最优模型权重：best_ckpt.pth - 量化标定图片（建议500-1000张） - 附加信息：num_classes、类别列表、训练配置文件 ### 五、AI算力开放 - HRNet18适配说明 - **适配流程**： 1. 下载mmsegmentation源码。 2. 应用DJI提供的patch文件。 3. 修改配置文件，设置数据路径、类别信息、训练参数。 4. 安装依赖（PyTorch、mmcv等）。 5. 执行训练命令。 - **关键配置**： - 分割类别数量限制：≤5 - **交付文件**： - 最优模型权重：pth文件 - 量化标定图片（建议500-1000张） ### 六、视频及照片AI信息解析 - **功能特性**： - 支持图片和视频的AI元数据解析。 - 可视化展示识别框和标签。 - 提供Web界面进行交互。 - **目录结构**： - `web_demo/`：包含服务脚本、前端页面、解析模块、依赖库、资源文件等。 - **运行步骤**： 1. 安装Python 3.6+和Pillow。 2. 运行`server.py`启动服务。 3. 浏览器访问`http://localhost:8000`。 4. 上传图片或视频进行解析。 - **集成方式**： - 支持集成至Flask、Django、FastAPI等框架。 - 可通过`image_processor.py`和`video_processor_*.py`模块进行扩展。 --- ## 附：开发流程核心路径汇总 | 文件/目录 | 固定路径 | |----------|----------| | 总工作目录 | D:\mmyolo_work | | mmyolo源码 | D:\mmyolo_work\mmyolo | | DJI patch文件 | D:\mmyolo_work\patch\0001-NEW-ai-inside-init.patch | | 训练数据集 | D:\mmyolo_work\dataset | | 指定配置文件 | D:\mmyolo_work\mmyolo\configs\yolov8\yolov8_s_syncbn_fast_8xb16-500e_coco.py | | 训练结果/模型文件 | D:\mmyolo_work\mmyolo\work_dirs\yolov8_s_syncbn_fast_8xb16-500e_coco | --- ## 注意事项 - **环境配置**：需安装Anaconda、Git、CUDA、CUDNN、VC++14.0等。 - **训练配置**：需严格遵循配置文件要求，避免因路径或参数错误导致训练失败。 - **数据准备**：训练数据需真实、高质量，并与目标场景高度一致。 - **模型交付**：需确保交付文件格式正确，避免因文件缺失或命名错误导致平台无法识别。 - **平台限制**：部分参数不可修改，需按照说明进行调整。