上海轨道交通大数据中心：边缘计算与大数据湖在上海轨交的应用_19页_1mb

边缘计算与数据湖在轨道交通的应用总结

核心内容

本文档围绕边缘计算与数据湖在轨道交通领域的应用展开，重点分析了两者的技术特点、应用场景、架构设计以及与传统数据仓库的融合趋势。同时，文档还涉及了大数据平台的安全管理、数据资产管理及展示层建设等内容。

边缘计算的核心理念与应用

主要观点

• 边缘计算是一种新型计算模式，强调在数据源附近进行计算，以降低延迟并提升响应能力。
• 边缘计算的“边缘”是指从数据源到云服务器之间的计算网络和存储资源，而非物理边界。
• 边缘计算能够实现低带宽运行、可扩展性、位置感知和隐私保护等优势。

关键信息

• 实时响应：边缘计算更靠近数据源，可实现智能化的实时数据处理。
• 应用场景：
  • 信号系统：基于道岔、信号机、计轴区段等数据进行测算，将结果发送给区段车辆。
  • 车辆系统：根据接收的数据计算开行速度、距离等参数。
  • 进出站系统：使用RFID技术和密钥保护，实现脱机条件下的快速通行与票务资金安全。
• 安全高效：边缘计算将部分处理逻辑下放到边缘节点，提高系统的安全性和效率。

数据湖的核心特点与应用

主要观点

• 数据湖是一种集中式存储平台，支持各种类型的数据，包括结构化、半结构化和非结构化数据。
• 数据湖无需预先定义Schema，可直接存储原始数据，便于后续分析和处理。
• 数据湖能够无缝对接多种计算分析平台，如Hadoop生态，支持深度挖掘和分析。

关键信息

• 数据湖的数据处理能力以读取模式为主，便于在细粒度级别进行探索和分析。
• 数据湖具备高度动态性和敏捷性，支持基于数据的业务流程定义。
• 数据湖的数据利用率相对较低，由于数据类型多样，缺乏优先排序，需较长时间准备数据。

数据湖与数据仓库的融合

主要观点

• 数据湖与数据仓库的融合是当前大数据发展的趋势，尤其适用于轨道交通等复杂场景。
• 数据湖提供原始数据存储，数据仓库用于结构化数据处理，二者结合可实现更全面的数据管理与分析。

关键信息

• 数据湖与数仓的融合可以提升数据平台的灵活性与扩展性。
• 数据湖支持结构化、半结构化、非结构化数据，而数据仓库主要支持结构化数据。
• 数据湖更适用于创新和新业务场景，而数据仓库更适用于预定义业务需求。

大数据发展趋势分析

主要观点

• 数据趋势包括深度数据开放、跨专业数据关联、多样化服务应用和智能分析。
• 数据湖作为大数据平台的核心，支持原始数据存储、细粒度收集、快速分析等能力。
• AI与机器学习正在成为数据分析的重要工具，推动个性化服务与深度训练。

关键信息

• 数据湖具备动态灵活性，支持快速构建应用。
• 数据湖的数据利用率较低，但其数据类型多样性为创新提供了更多可能性。
• 数据湖与数仓的融合可提升数据治理能力和数据安全水平。

数据安全管理

主要观点

• 数据安全管理涵盖权限管理、安全接入、数据加解密、数据分级、日志审计和统一认证等多个方面。
• 安全管理以数据为核心，通过标准数据驱动治理规范，实现数据的实时治理。

关键信息

• 数据标准：支持共享开放、API、SDK、JDBC/ODBC、微服务等接口。
• 数据质量：通过人工智能训练平台、模型算法库、机器学习等手段提升数据质量。
• 数据资产：涵盖关系型数据库、MPP数据库、分布式存储系统、NoSQL数据库等资源。
• 数据采集：支持实时、离线、结构化与非结构化数据的采集方式。

大数据平台展示层

主要观点

• 展示层主要包括指标看板和可视化大屏，用于直观呈现数据与分析结果。
• 大数据平台支持五大应用集群：建管、运管、维保、企管、资源经营。

关键信息

• 展示层通过可视化手段，帮助决策者快速理解数据与业务趋势。
• 五大应用集群体现了大数据在轨道交通领域的广泛应用场景。

总结

边缘计算与数据湖在轨道交通中的应用，提升了系统的实时性、安全性与智能化水平。二者结合，既保留了数据仓库的结构化处理能力，又充分发挥了数据湖的灵活性与扩展性。随着AI与机器学习技术的发展，数据湖将成为支撑轨道交通大数据平台建设的核心基础设施。