Talkingdata：【T112019-数据智能技术峰会】物联网大数据的高效处理_44页__14mb

物联网时序大数据的高效处理总结

核心内容

物联网数据具有海量、时序性强、结构化、写多读少、按时间删除等特点。传统实时数据库和通用大数据方案在处理这些数据时面临诸多挑战，如扩展性差、运维复杂、开发效率低等。针对这些问题，涛思数据（TDengine）提供了一套专门为时序数据设计的物联网大数据平台，具备高性能、低成本、易用性等优势，能够高效处理物联网时序数据。

主要观点

• 传统实时数据库（如OSIsoft PI、aspenTech、Honeywell等）虽然在工业控制领域有较好的表现，但随着数据量激增，其扩展性、性能和数据分析能力逐渐不足。
• 通用大数据方案（如Kafka、Redis、HBase、Spark等）虽然具备一定的扩展性，但系统复杂、开发和运维成本高，难以满足物联网时序数据的高效处理需求。
• TDengine 是一款专为物联网时序数据设计的数据库系统，具备以下特点：
  • 高性能：通过创新的时序数据存储结构和无锁设计，数据插入和读取速度比通用数据库快10倍以上。
  • 低成本：通过列式存储和压缩算法，存储空间仅为通用数据库的1/10，计算资源仅为通用方案的1/5。
  • 易用性：支持标准SQL语法，提供多种语言的API接口，与MySQL兼容，学习成本低。
  • 无中心化设计：支持水平扩展，集群中任何节点均可访问，系统具备高可靠性和自动负载均衡能力。
  • 零管理：无需分库分表、实时库与历史库分离，数据自动备份和迁移，简化运维流程。
  • 异构环境支持：可与Oracle、MySQL、Cassandra、MongoDB等系统共存，便于大数据分析工具的集成。

关键信息

物联网数据特征

• 数据量巨大，每天可超过100亿条记录。
• 数据为时序数据，具有时间轴特性。
• 数据结构化，且每个采集点数据唯一。
• 写操作为主，读操作为辅。
• 数据按时间删除，且支持按时间区间进行聚合计算。

TDengine 的主要功能

• 消息队列：内置消息队列，支持高效数据采集和传输。
• 缓存：支持设备最新数据实时返回，无需额外缓存软件。
• 数据库：支持实时和历史数据的统一存储和处理，操作透明。
• 流式计算：支持对数据流进行实时聚合计算，如平均值、最大值、最小值等。
• 数据订阅：支持类似Kafka的数据订阅机制，实现数据流的实时推送。
• 多级存储：数据按时间分级存储，支持SSD、普通硬盘、廉价存储介质，优化存储成本。
• 数据压缩：采用列式存储和多种压缩算法（如delta-delta编码、LZ4等），显著减少存储空间。

TDengine 的架构特点

• 物理节点：实际服务器或虚拟机，可配置多个虚拟节点。
• 虚拟数据节点：存储时序数据，支持数据的实时同步和高可靠性。
• 虚拟管理节点：管理整个集群，自动负载均衡和元数据管理。
• 水平扩展：完全线性扩展，支持高吞吐量和低延时的数据处理。
• 异构环境支持：可与不同性能的服务器组成集群，支持与第三方工具（如Telegraf、Grafana、Spark等）无缝对接。

TDengine 的使用示例

• 创建数据库和表：

  create database demo;   
  use demo;   
  create table t1 (ts timestamp, degree float); 
  insert into t1 values(now, 28.5); 
  select * from t1; 
  

• 超级表（STable）：用于聚合多个采集点的数据，支持标签过滤和聚合查询。
• 时间轴聚合：支持对数据进行按时间间隔的聚合操作，如每五分钟的平均值。
• 实时流计算：支持滑动窗口计算，如每分钟计算过去五分钟的平均值，并写入新表。

TDengine 的产品竞争力

• 性能优势：数据插入和读取速度比通用数据库快10倍以上，支持高吞吐量。
• 成本优势：存储空间仅为通用数据库的1/10，计算资源仅为通用方案的1/5。
• 易用性优势：支持标准SQL语法，API与MySQL相似，降低学习和使用门槛。
• 运维优势：零管理，无需分库分表，自动备份和负载均衡，提升系统稳定性。
• 扩展性优势：支持水平扩展，集群自动负载均衡，适应大规模物联网数据处理。

应用场景

• 工业监测：如CNC设备、电梯、锅炉、机床等。
• 智慧城市：如智能电表、水表、气表，环境监测（天气、空气、水文等）。
• 车联网：如车辆轨迹数据的处理和分析。
• 电力IDC运维：支持高效的数据采集、存储和可视化。
• 服务器/应用监测：如用户访问日志、广告点击日志等。

TDengine 运维管理工具

• 数据导入导出：支持按SQL脚本和数据文件导入，支持按查询结果导出为CSV文件。
• WEB管理工具：提供图形化界面，支持系统监测指标的可视化展示。
• 日志管理：支持查询各种操作日志，便于问题追踪和系统维护。
• 异地容灾与备份：支持自动切换Master节点，实现无服务中断的IDC迁移。

TDengine 与第三方工具的集成

• Telegraf：用于数据采集。
• Grafana：用于数据可视化。
• Spark/Hadoop：用于大数据分析，支持与现有系统并存，无需额外改造。

TDengine 的联系信息

• 李广：涛思数据联合创始人
• 邮箱：guangli@taosdata.com
• 电话：15801211043