2025-01-15-DORIS_SUMMIT-科技行业_SelectDB实时数仓在智慧港口中的应用实践_30页_9mb

哪吒科技: SelectDB 实时数仓在智慧港口中的应用实践总结

核心内容概述

哪吒科技通过构建实时数仓，实现了在智慧港口场景下的数据整合、分析与决策支持。该实践围绕SelectDB平台展开，结合其高并发查询、弹性架构、存储压缩等特性，显著提升了数据处理效率与业务响应速度。

主要观点与关键信息

1. 哪吒科技数仓发展历程

• 第一阶段：聚焦于港口运营数据枢纽，实现单业务单场景的数据整合与决策赋能。
• 第二阶段：转向数据驱动码头作业，采用混合架构实现数据整合与分析赋能。
• 第三阶段：构建智慧港口全生命周期与全解决方案（SMART系列），实现统一实时数仓。

2. 实时数仓技术选型与架构

2.1 选型因素

• 数据导入：支持秒级数据导入，兼容多种方式（Stream Load、Bocker Load、Routine Load），并支持毫秒级表结构修改。
• 查询性能：支持高并发点查、大宽表查询、多表 Join 复杂查询、数据湖查询，具备向量化、物化视图、CBO优化器等优化机制。
• 弹性架构：支持计算隔离、分层存储、存算分离，实现灵活资源管理。
• 开放生态：基于 Apache Doris 构建，100%兼容，兼容 MySQL 生态。
• 安全合规：深度契合等保要求，遵循 ISO 标准，融合信创技术构建多重安全防线。

2.2 架构设计

• ODS层：通过 FlinkCDC 实时采集数据源，落地 SelectDB 实时数仓。
• DWD层：清洗明细数据并进行归一化处理。
• DWS层：基于聚合模型对指标预聚合，供业务使用。

2.3 日志收集分析案例

• 建表示例：使用 ZSTD 压缩，指定合适的分词器参数，构建倒排索引以提升查询效率。
• 导入示例：通过 Kafka 实时导入 JSON 格式日志数据，确保与 Doris 建表字段类型一致。
• 性能提升：
  • 查询性能提升：提升约 2 倍。
  • 写入吞吐提升：提升约 5 倍。
  • 存储成本降低：降低约 80%。
  • 稳定性提升：通过资源隔离与高效内存管理，显著提升系统稳定性。

3. 实时数仓在智慧港口的实战应用

3.1 指标计算实践

• 业务场景：分析场地内件散货货物作业动态数据，支持多维度统计。
• 统计指标：
  • 钢材大规模作业数据统计：筛选作业量超500吨的数据，分析对资源的影响。
  • 全场货物短期作业量汇总：统计进货1天内的作业量，掌握流转速度。
  • 钢材特殊高效作业数据统计：针对特定货物与时段制定管理策略。

3.2 示例代码

• 场地货动态表：定义动态ID、重量、作业日期等字段。
• 场地货表：定义货名、进货日期等字段。
• 指标计算：通过 Join 操作与条件过滤，实现精准统计。

3.3 物化视图实践

• 场景：多用户同时对十亿级单表进行维度聚合查询。
• 效果：
  • 查询响应时间：平均提升约10倍。
  • 吞吐量：平均提升约9.5倍。
  • CPU使用率：降低约1.53倍。
  • 内存使用率：变化较小，平均差异倍数为1.16。

4. 收益与展望

4.1 收益

• 数据增长：
  • 客户数量：>200
  • TOS产品支撑国内箱量：>9000万 TEU
  • 客户覆盖码头：>100 座
• 业务效果：
  • 性能提升：核心报表数据实时性从1-2天延迟提升至5秒内，80%即席分析可在2秒内返回结果，95%可在5秒内返回。
  • 成本降低：平台运维成本降低，存储成本降低70%，开发成本也有所下降。
  • 智慧港口数据大脑：为SMART系列产品与全生命周期解决方案提供数据支持，推动港口业务创新。

4.2 服务支持

• 提供7*24小时技术支持服务。
• 重点BUG天级快速修复。
• 重大应急保障现场及时响应，确保业务稳定运行。

4.3 展望

• SelectDB 存算分离实践：实现弹性资源配置，进一步降低存储成本。
• 增强多表物化视图业务运用：提升查询性能，优化复杂查询场景。
• 集群管理工具运用：提升运维效率，实现自动化与智能化管理。

总结

哪吒科技通过SelectDB实时数仓的构建与应用，有效解决了智慧港口场景下的数据处理难题，显著提升了查询效率、系统吞吐量及资源利用率，同时降低了运维与存储成本。未来，SelectDB将进一步优化存算分离、多表物化视图与集群管理工具，推动智慧港口的数字化转型与智能化升级。