2017年十大大数据趋势_14页-2mb

报告摘要

文档总结：2017年大数据十大趋势

核心内容

本文档总结了Tableau在2017年预测的十大大数据趋势，涵盖大数据技术的发展、应用场景的变化以及企业对数据治理和分析平台的需求。文档强调了大数据从早期的“海量”概念向更注重“多样性”和“实用性”的转变，并指出企业正在寻求更灵活、更易用的数据处理和分析解决方案。

主要观点

大数据变得更快且更易用
- 企业对Hadoop平台的交互式SQL性能要求提升，推动了更快的数据库和查询加速技术的发展。
- SQL-on-Hadoop引擎（如Apache Impala、Hive LLAP、Presto）和OLAP-on-Hadoop技术（如AtScale、Jethro Data、Kyvos Insights）正在模糊传统数据仓库与大数据之间的界限。
大数据不再仅限于Hadoop
- 企业环境日益复杂，不再满足于仅使用Hadoop的特定工具。
- 数据来源多样化，包括关系型数据库、云仓库、非结构化数据等，要求平台具备数据源无关性。
数据湖成为核心战略资产
- 数据湖被比喻为“人工水库”，用于存储和处理来自各种来源的数据。
- 企业将更加注重数据湖的实用性，而非仅仅作为数据存储的容器，推动了更灵活的数据使用方式。
架构设计趋于多样化
- Hadoop不再仅用于批处理，而是成为多用途分析平台。
- 企业将根据具体用例设计架构，结合数据准备工具、Hadoop核心和分析平台，实现灵活配置。
数据多样性成为投资主因
- 大数据的三大特征（Volume, Velocity, Variety）中，Variety成为主要驱动力。
- 数据格式日益复杂，企业需要平台具备连接多种数据源的能力。
Spark与机器学习推动大数据应用
- Apache Spark取代传统MapReduce成为大数据处理首选平台。
- 机器学习和AI技术在大数据平台上的应用显著增加，尤其在Microsoft Azure ML中表现突出。
物联网、云和大数据融合带来新机会
- 物联网生成大量数据，云服务成为数据存储和处理的重要载体。
- 企业需要能够无缝连接和整合多种云数据源的分析工具，以实现自我服务分析。
自助式数据准备成为主流
- 企业用户希望减少数据准备的时间和复杂度。
- 工具如Alteryx、Trifacta和Paxata通过自动化和简化流程，降低了Hadoop的使用门槛。
Hadoop融入企业标准
- Hadoop正逐步成为企业IT架构的核心部分。
- 企业对数据安全和治理的需求增加，推动了如Apache Sentry、Apache Atlas和Apache Ranger等工具的发展。
元数据目录助力数据发现
- 数据湖中数据的组织和可发现性成为关键问题。
- 元数据目录工具（如Alation、Waterline）通过机器学习和标签技术，帮助用户快速找到和理解有价值的数据。