京东城市时空数据引擎JUST的架构设计与应用实践_31页_4mb

DTCC 2020 京东城市时空数据引擎JUST总结

核心内容

京东城市时空数据引擎JUST是京东智能城市研究院推出的一体化时空数据存储、管理、挖掘、可视分析和服务提供解决方案。该引擎针对时空大数据的特性，设计了六大时空数据模型，支持多种城市应用场景，包括疫情防控、危化品监管、路网修复等，并且在存储、索引、查询和可视化方面具有显著优势。

主要观点

• 时空大数据背景
  时空数据具有数据量大、结构复杂、查询模式独特、更新频率高等特点，约80%的现实数据与地理位置有关。传统时空数据平台在扩展性、效率和易用性方面存在挑战。

• JUST架构设计
  JUST是一个一体化的时空数据引擎，具备以下特点：

  • 拓展性强：支持六种时空数据模型，采用分布式大数据组件，提升数据处理能力。
  • 效率高：引入新的存储模式和时空索引结构，支持高效查询和分析。
  • 易用性好：提供类SQL语句操作，支持交互式开发界面和SDK，配置化API服务，降低使用门槛。
  • 分析渲染快：自主研发的分布式GIS引擎，支持海量动态数据的可视化，提升渲染效率。

• 新的存储模式
  采用水平存储，将轨迹信息集中存储，便于压缩和查询优化，相比传统垂直存储，空间利用率提升85%，查询效率提升超过100倍。

• 新的时空索引结构
  提出Z2T索引（点数据）和XZ2T索引（面/线数据），通过时间分段构建空间索引，有效解决传统索引方法在处理时空数据时的局限性。

• 时空数据挖掘算法
  提供多种开箱即用的时空数据挖掘算法，包括：

  • 轨迹数据挖掘：噪声过滤、轨迹分段、驻留点检测、地图匹配等。
  • 路网数据挖掘：可达区域查询、路径查询、路网修复等。
  • 其他数据挖掘：DBSCAN聚类、凹/凸包计算、风险区域发掘等。

• 应用案例

  • 疫情防控：帮助北京、宿迁等城市发现高危密切接触者和确诊人员，实现秒级挖掘易感人群。
  • 危化品监管：利用GPS轨迹数据进行实时监管，快速检测异常行驶行为和非法化工厂。
  • 路网修复：通过分析配送员轨迹，修复小区内部的细粒度路网数据，包括通行时间、通行模式等。

• 学术成果

  • JUST相关研究发表于CCF A类会议ICDE 2020。
  • 轨迹数据挖掘相关成果发表于AAAI 2020。
  • 在ACM SIGSPATIAL 2019和2020连续两年获得国际时空数据领域最具影响力奖项。

关键信息

• 数据模型：六大时空数据模型，包括空间静态点、空间静态网、空间静态时间动态点、空间静态时间动态网、时空动态点、时空动态网。
• 技术框架：
  • 存储层：支持HBase、MongoDB、PostGIS、ElasticSearch等。
  • 计算层：基于Spark + ANTLR + Calcite的分布式引擎和ANTLR + Calcite的单机引擎。
  • 可视化引擎：JUST-GIS，支持分布式时空数据编码、压缩策略，加速渲染效果。
• 应用接口：
  • 提供Web SQL Portal、JUST DB Management Studio、JUST Jupyter Notebook等交互式工具。
  • 支持配置化API服务，实现统一鉴权、流量限制、自动缓存和日志监控。
• 性能提升：
  • 存储和索引效率提升7倍以上。
  • 查询效率提升超过100倍。
  • 空间利用率提升85%。

总结

JUST是京东在时空大数据领域的重要成果，它不仅解决了传统时空数据平台在扩展性、效率和易用性方面的瓶颈，还通过创新的存储和索引方法，实现了高效的时空数据管理和分析。其在疫情防控、危化品监管和路网修复等实际场景中展现出强大的应用潜力，并在国际学术会议上获得认可，成为时空数据领域的重要研究方向。