2023-09-14-中移智库-2023在网计算_NACA_技术白皮书_32页_1mb
报告摘要
在网计算(NACA)技术白皮书总结
核心内容
在网计算(NACA)是算网一体原创技术体系中的核心技术之一,旨在通过网络设备进行近数据计算,实现计算与网络的深度融合,提升分布式应用的性能与效率。其核心目标是解决分布式系统通信瓶颈问题,提供高效、安全、可靠的算力增强服务,推动“东数西算”工程和数字中国战略的实施。
主要观点
- 在网计算通过将计算任务卸载至网络设备,实现数据处理与转发的同步,减少数据传输路径,提升系统整体性能。
- 在网计算是计算与网络双学科交叉融合的创新方向,适用于通用计算、智能计算、超算等多样化业务场景。
- NACA架构提出“四个统一”理念,包括逻辑物理统一、通信原语统一、编程范式统一和网内资源统一,以实现网络辅助计算加速。
- 在网计算可以有效降低服务器负载,提升算网资源利用率,同时支持Sub-RTT的快速响应,提高系统实时性。
关键信息
1. 背景和需求
- 人工智能和大数据等技术的快速发展对算力资源提出了更高要求。
- 传统计算模式面临算力增长受限、通信效率低下等问题。
- 在网计算通过网络设备进行近数据计算,有效解决通信瓶颈,提升系统性能。
2. 应用场景
2.1 在网计算赋能先进计算中心
- 高性能计算(HPC):通过在网计算实现聚合通信加速,如AllReduce操作,减少带宽需求,提升计算效率。
- 高性能存储:利用交换机进行分布式一致性保障,如在网锁和在网序列器,提升系统响应速度和吞吐量。
- 大数据流式处理:通过在网计算实现数据过滤、聚合、排序等操作,减少端侧服务器的计算负载和I/O开销。
2.2 在网计算加速边缘万物智联
- 车联网:在网计算可实现数据识别、推理和聚合,减少回传云端数据量,提升实时性。
- 扩展现实(XR):通过网络设备实现低延迟、高带宽的数据处理,支持AR/VR等业务的端云协同渲染。
3. 在网计算(NACA)技术架构
NACA架构包含五个核心功能层:
- 异构网元:包括数据中心交换机、边缘交换机、端侧适配器等,支持多样化的在网计算场景。
- 高性能互联:基于RDMA、CXL等协议实现跨设备资源一致访问,提升网络通信效率。
- 在网计算通信库:为分布式应用提供统一的通信原语,如广播、聚合、同步等,实现跨场景通用支持。
- 分布式应用:涵盖HPC、大数据、XR等应用,强调计算与网络的协同。
- 编排管理:实现应用程序的编译、部署和资源管理,支持多租户、多业务场景下的灵活调度。
4. 关键技术及挑战
- 计算语义映射:将应用消息传递语义与网络数据包转发语义进行映射,分为显式连接和透明连接两种方式。
- 计算正确性保障:通过可靠性控制机制和计算状态维护,确保在网计算结果的正确性。
- 计算程序网内编排:基于资源约束和拓扑约束,实现程序的动态编译与部署,支持多设备协同运行。
- 网内资源池化:通过动态资源管理与一致性更新协议,实现跨设备资源的统一调度和高效利用。
5. 推进展望
- 中国移动呼吁产学研联合攻关,深化在网计算技术研究,推动其成为网络内生的普适能力。
- 联合推动在网计算技术开源及标准化,参与IETF、ITU、CCSA等标准组织,构建开放共享的生态。
- 开展联合试验验证,利用CFITI试验平台,推动在网计算在垂直行业的应用,助力千行百业数字化转型。
总结
在网计算作为算力网络的重要组成部分,通过将计算任务与网络设备结合,有效提升分布式应用的性能和效率。NACA架构通过“四个统一”理念,实现了计算与网络的深度融合,解决了传统计算模式中算力不足、通信瓶颈等问题。未来,随着技术的进一步成熟和生态的不断完善,NACA有望成为支撑数字中国、东数西算等国家战略的关键技术之一。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载