2017-CDAS2017-曹正凤-智慧交通大数据平台及应用-31页-9mb

智慧交通大数据平台及应用总结

核心内容

智慧交通大数据平台及应用是一套基于大数据技术构建的综合解决方案，旨在提升交通管理效率、优化资源配置、实现数据驱动的决策支持。该平台整合了多种异构数据源，包括业务系统数据、视频监控数据、通行信息等，通过数据清洗、存储、分析和可视化，为交通管理部门提供强大的数据支持和智能化服务。其核心内容涵盖大数据平台建设、功能特性、应用产品及运维体系等多个方面。

主要观点

1. 平台建设目标

   • 构建一个集数据采集、处理、分析、可视化于一体的智慧交通大数据平台。
   • 降低大数据分析的学习门槛，实现“人人都能进行大数据分析”。
   • 提高交通管理的智能化水平，为执法、运营、规划提供数据支撑。

2. 平台功能特性

   • 数据汇集能力：支持多种异构数据的全方位采集，包括视频、图像、通行信息、业务系统数据等。
   • 图形化分析环境：提供拖拽式、图形化的数据分析界面，降低使用难度。
   • 自动化运维：支持操作系统、LDP平台的自动化部署，简化配置和管理流程。
   • 安全可靠：具备细粒度访问控制、基于角色的管理、多租户权限管理等安全机制，保障数据安全。
   • 实时监控与分析：支持实时交通流量、收费情况、减免数据等的动态展示，提供即时决策支持。

3. 应用产品

   • 综合稽查系统：利用大数据技术识别逃费车辆，形成证据链，用于执法。
   • 视频结构化分析：提取车辆多维特征、交通参数、事件检测等信息，提升视频监控效率。
   • 实时BI展示：动态展示交通流量、收费任务完成进度、路段收费趋势等数据，辅助运营决策。
   • 批量计算与分析：通过Spark进行数据统计，实现按车型统计车流量与收费数据，支持长期趋势分析。

关键信息

大数据团队概况

• 团队共19人，包括博士2人、研究生8人。
• 技术架构涵盖分布式数据存储、分布式计算引擎、平台运行监控、系统配置、管理门户等模块。
• 技术人员分工明确，包括技术总监、数据挖掘分析师、大数据可视化工程师、需求分析师、高级软件工程师、架构师等。

大数据平台建设

• 1+N战略：智慧交通大数据中心建设采用“1+N”模式，即1个大数据平台+多个应用产品。
• 云平台安全体系：包括安全系统、安全管理、安全运维，保障数据与系统的安全性。
• 开源平台挑战：Hadoop等开源平台存在运维成本高、操作复杂的问题，需借助自动化工具降低难度。

综合稽查系统

• 功能模块：嫌疑车辆确认、黑名单管理、车辆特征管理、动态超时管理、数据稽查审核管理、证据链管理、车票及通行券路径查询。
• 技术支撑：利用视频监控数据与通行信息，结合大数据分析手段，提取逃费车辆信息，形成完整的证据链。
• 处理流程：包括异车倒卡、同车倒卡等处理流程，确保逃费行为被有效识别与记录。

视频结构化分析

• 功能模块：车辆多维特征提取、交通参数提取、交通事件检测、以图搜图。
• 应用场景：用于视频监控系统中的车辆识别、事件检测，提高交通管理效率。

实时BI展示

• 展示内容：实时交通流量、收费金额、减免数据等。
• 技术实现：通过Impala与SparkSQL实现数据统计，BI系统数据库为MySQL。
• 数据来源：业务系统数据库（MS SQL Server）通过Sqoop定时导入数据，支持每日增量更新。

批量计算与分析

• 流程描述：每日凌晨2点，Sqoop从分中心数据库抽取数据到Hive，Spark进行统计计算，结果写入MySQL。
• 分析内容：按车型统计每小时和每日交通流量与收费数据，支持长期趋势分析。
• BI展示：通过Web服务实现数据可视化，支持多维度数据展示与分析。

运维体系

• 运维管理：包括运维管理制度、监控运维系统、资源监控、组件部署、资源分配、辅助工具等。
• 安全体系：涵盖数据访问控制、细粒度权限管理、基于角色的管理、多租户管理、机器级别安全认证等，确保数据与系统的安全可靠。

总结

智慧交通大数据平台及应用通过整合多种异构数据源，构建了高效、智能、安全的交通管理体系。平台具备强大的数据处理与分析能力，支持多种应用场景，如逃费稽查、视频结构化、实时BI展示等，提升了交通管理的效率与精准度。同时，平台注重降低使用门槛，提供图形化分析环境和自动化运维工具，确保系统的易用性与可维护性。整体建设方案体现了大数据在交通领域的深度应用，为未来智慧交通的发展提供了坚实的技术基础。