20250115-哪吒智慧科技_上海_-哪吒科技_SelectDB实时数仓在智慧港口中的应用实践_30页_9mb

哪吒科技: SelectDB 实时数仓在智慧港口中的应用实践总结

核心内容概述

哪吒科技在智慧港口领域通过构建实时数仓体系，显著提升了数据处理效率和业务决策能力。本文详细介绍了哪吒科技数仓的发展历程、SelectDB 的技术选型与架构、在智慧港口中的实战应用以及带来的收益与未来展望。

---

主要观点

1. 哪吒科技数仓发展历程

• 第一阶段：聚焦于港口运营数据枢纽，实现单业务单场景的数据整合与决策赋能，但面临数据融合性与实时性的挑战。
• 第二阶段：转向数据驱动码头作业，采用混合架构进行数据整合与分析，但开发效率和维护成本成为瓶颈。
• 第三阶段：构建“SMART系列”智慧港口全生命周期与全解决方案，引入 SelectDB 统一实时数仓，应对复杂场景和查询效率的挑战。

2. 实时数仓技术选型与架构

• 技术选型因素：

  • 数据导入：支持秒级导入，多种方式（Stream Load、Bocker Load、Routine Load），可快速修改表结构。
  • 查询性能：支持高并发点查、大宽表查询、多表 Join、数据湖查询，具备向量化、物化视图、CBO 优化器和丰富的索引。
  • 弹性架构：支持计算隔离、分层存储、存算分离三种模式，实现高效灵活的资源管理。
  • 开放生态：基于 Apache Doris 构建，100% 兼容，支持 MySQL 生态。
  • 安全合规：深度契合等保要求，遵循 ISO 标准，融合信创技术，保障数据安全。

• 架构设计：

  • ODS 层：通过 FlinkCDC 实时采集数据源，作为原始数据层。
  • DWD 层：对清洗后的明细数据进行归一化处理。
  • DWS 层：基于聚合模型进行指标预聚合，供业务使用。
  • 日志检索分析：通过 SelectDB 实现日志数据的高效处理和查询。

---

关键信息

3. 实时数仓在智慧港口的实战应用

• 业务场景：

  • 钢材大规模作业数据统计：筛选作业量超500吨的数据，分析作业态势及对资源的影响。
  • 全场货物短期作业量汇总：统计进货1天内的作业总量，掌握货物流转速度与繁忙程度。
  • 钢材特殊高效作业数据统计：针对钢材进货后1天内作业量大于500吨的情况，制定专属策略。

• 技术实现：

  • 使用 JOIN 操作连接 TMPhurstITIES 和 TMP GOODS 表，实现多维度分析。
  • 引入物化视图技术，显著提升维度聚合查询性能。
  • 查询性能优化效果：
    • 查询响应时间平均提升约 10 倍。
    • 查询吞吐量提升约 9.5 倍。
    • CPU 使用率降低约 1.53 倍。

4. 实时数仓带来的收益

• 数据增长：

  • 客户数量超过 200 个。
  • TOS 产品支撑国内箱量（TEU）超过 9000 万。
  • 客户覆盖码头超过 100 座。

• 业务效果：

  • 核心报表数据实时性从 1-2 天延迟降至 5s 内。
  • 80% 即席分析可在 2s 内返回结果，95% 的即席分析可在 5s 内返回结果。
  • 存储成本降低 70%，显著减少平台运维和开发成本。

• 智慧港口数据大脑：

  • SelectDB 为 SMART 系列产品与全生命周期解决方案提供数据支持，推动港口业务创新。

---

展望与未来计划

1. SelectDB 存算分离实践：通过弹性资源配置进一步降低存储成本。
2. 增强多表物化视图业务运用：提升复杂查询性能，优化业务响应速度。
3. 集群管理工具运用：提升运维效率，实现自动化管理与监控。

---

总结

哪吒科技通过 SelectDB 构建统一实时数仓，成功解决了智慧港口数据处理中的实时性、查询效率和存储成本等关键问题。在实际应用中，SelectDB 显著提升了数据处理性能，降低了运维与存储成本，为智慧港口的全生命周期管理提供了强有力的数据支撑。未来，哪吒科技将继续深化 SelectDB 技术应用，探索更多优化方向，推动港口数字化转型与智能化升级。