T112019-数据智能技术峰会-物联网大数据的高效处理44页_13mb

物联网时序大数据的高效处理总结

核心内容

物联网时序大数据的高效处理是当前工业和智能系统中亟需解决的关键问题。随着物联网设备数量的激增和数据采集频次的提升，传统数据库和通用大数据方案在处理这类数据时面临诸多挑战，包括性能瓶颈、系统复杂度高、运维成本高以及部署困难等。为此，涛思数据（TDengine）推出了一款专为时序数据设计的数据库系统，具备高性能、低成本、易用性和高可靠性等优势，能够满足物联网、工业4.0等场景下的海量数据处理需求。

主要观点

• 物联网数据特征：数据量巨大，结构化、时序性、唯一数据源、以写操作为主、支持时间轴聚合和指定区域查询。
• 传统实时数据库的局限：如OSIsoft PI等系统虽然性能较好，但缺乏水平扩展能力、依赖老旧架构、不支持云端部署、缺乏大数据分析接口。
• 通用大数据方案的不足：集成复杂、开发效率低、运行成本高、运维难度大。
• TDengine的优势：
  • 高性能：采用创新的时序数据存储结构、无锁设计和多核技术，性能比通用数据库高10倍以上。
  • 低成本：存储空间仅为通用数据库的1/10，计算资源仅为通用方案的1/5，无需集成多个软件。
  • 易用性：支持标准SQL语法，API与MySQL高度相似，学习成本接近于零。
  • 高可靠性：完全无中心化设计，支持自动负载均衡和异地容灾，系统运行稳定。

关键信息

TDengine 提供的功能

• 消息队列：自带消息队列，支持高效的数据采集和传输。
• 缓存：支持设备最新数据的实时返回，无需额外缓存软件。
• 数据库：同时支持实时和历史数据处理，对应用透明。
• 流式计算：支持实时聚合计算，如平均值、最大值、最小值等。
• 数据订阅：支持应用订阅数据流，实时获取更新数据。
• 支持异构环境：可以与Oracle、MySQL、Cassandra、MongoDB等系统共存，无需修改现有架构。

TDengine 的系统结构

• 物理节点：可以配置多个虚拟节点，支持灵活扩展。
• 虚拟数据节点：负责时序数据的存储和查询，数据实时同步。
• 虚拟管理节点：管理集群状态、负载均衡和元数据，确保系统高可用。
• 无中心化设计：支持任意节点访问，系统具备高容错和高扩展性。

TDengine 的存储结构与压缩技术

• 连续存放：每个采集点的数据在介质上连续存储，减少随机读取，提升查询效率。
• 多级存储：支持根据时间对数据进行分级存储（如SSD、普通硬盘、廉价介质），降低存储成本。
• 列式存储与压缩：采用列式存储方式，结合多种压缩算法（如delta-delta编码、LZ4等），提升存储效率。

TDengine 的使用示例

• 创建数据库和表：使用标准SQL语法，支持创建数据库、表、插入和查询数据。
• 超级表（STable）：支持多个采集点数据的聚合，简化多表查询。
• 时间轴聚合：通过interval关键字支持对时间序列数据进行聚合计算。
• 实时流计算：支持滑动窗口计算，如每分钟计算过去五分钟的平均温度。

TDengine 的运维与扩展能力

• 零管理：无需分库分表，数据自动备份，支持动态扩容和缩容。
• 运维工具：提供Web管理工具，支持数据导入、导出、监控和日志查询。
• 异地容灾：支持无服务中断的IDC迁移，系统自动检测并切换Master节点，保障数据一致性。

结论

TDengine 是一款专为物联网时序数据设计的数据库系统，凭借其高性能、低成本、易用性和高可靠性，能够有效解决传统数据库和通用大数据方案在处理时序数据时的瓶颈问题。它不仅满足了工业4.0、智慧城市、车联网等场景下的数据处理需求，还提供了完整的生态支持和灵活的扩展能力，成为物联网大数据平台的重要组成部分。