2018大数据技术指南（英文版）_36页_6mb

报告摘要

总结：2018 DZone Big Data Guide

核心内容

2018 DZone Big Data Guide 通过调查 540 名软件专业人士，分析了大数据领域在存储、处理和分析方面的挑战与趋势。报告涵盖了大数据的三大特征（Volume, Velocity, Variety）及其对数据科学的影响，还探讨了云存储、数据库管理系统的使用情况，以及区块链技术在大数据中的潜在应用。此外，报告还介绍了 HPCC Systems 这一开源大数据平台及其在数据集成和处理中的优势。

主要观点

大数据的三大挑战（The Three V's）

Volume（数据量）：存储大量数据仍然是主要挑战，47% 的受访者认为文件是最难处理的数据来源，46% 认为服务器日志是主要问题。
Velocity（数据速度）：高速数据流的处理困难，42% 的受访者指出服务器日志和传感器数据的生成速度是主要问题。
Variety（数据多样性）：处理多种类型的数据（如文件、JSON、XML 等）是另一个挑战，56% 的受访者认为文件是主要问题。

数据科学的挑战

数据质量：64% 的受访者认为处理未清洗或未标准化的数据是最大的挑战。
项目时间线：40% 的受访者认为在有限的时间内完成数据分析是困难的。
人才短缺：39% 的受访者指出缺乏足够的数据科学人才是主要障碍。

数据存储趋势

云存储：39% 的受访者使用云存储，23% 采用混合存储，33% 仍使用本地存储。
云存储增长：云存储使用率较 2017 年增长了 8%，而本地和混合存储分别下降了 6% 和 4%。
主要云供应商：亚马逊（70%）、谷歌云（57%）和微软 Azure（39%）是最受欢迎的云供应商。
数据库使用情况：
- MySQL 仍是生产环境中最常用的数据库管理系统（55%）。
- Oracle 的使用率上升（54%）。
- PostgreSQL 的使用率从 35% 增加到 41%。
- NoSQL 数据库如 MongoDB 在大数据处理中表现出色，成为最常用的解决方案之一。

关键信息

技术工具推荐

Apache Kafka：用于实时数据流处理，61% 的受访者正在使用它。
MongoDB：作为非关系型数据库，适用于处理文件、文档和半结构化数据。
Python：在数据科学和机器学习领域，Python 的使用率从 64% 增加到 70%，而 R 的使用率下降了 10%。
HPCC Systems：一个开源、可扩展的大数据平台，支持 ETL、查询、数据管理、预测建模等功能，适用于处理结构化和非结构化数据。

数据集成平台

Stitch Fix 的案例：公司开发了一个名为 "Data Highway" 的自服务数据集成平台，以简化数据收集与传输流程。
数据集成的重要性：良好的数据集成可以显著降低数据传输的复杂性，使数据科学家更容易访问和分析企业数据。
技术选择：平台基于 AWS Kinesis 和 Lambda 构建，解决了旧有系统的问题，如技术债务和扩展性。

区块链在大数据中的应用

主要观点

区块链的优势：
- 提供去中心化的数据存储和验证机制。
- 自动执行智能合约，减少对中间人的依赖。
- 提高数据安全性和交易的完整性。
行业应用：
- 农业行业可以利用区块链追踪原材料和产品的供应链数据。
- 块链技术能够帮助公司快速响应数据问题，如病虫害传播分析。
云技术的辅助作用：
- 云技术为区块链的部署提供了便利，因为它本身也是分布式网络。
- 云平台的使用降低了新技术（如区块链）的实施门槛。

数据平台推荐：HPCC Systems

平台特点

ETL 工具：使用 ECL（一种声明式编程语言）进行高效的数据提取、转换和加载。
查询与搜索：支持实时查询，兼容 SOAP、XML、REST 和 SQL。
数据管理工具：包括数据剖析、清洗、快照更新、任务调度和自动化。
预测建模工具：支持线性回归、逻辑回归、决策树和随机森林等算法。
可扩展性：支持大规模数据处理，Thor 和 ROXIE 两个核心组件分别处理数据清洗和查询。

优势

单一语言：ECL 作为统一的编程语言，简化了开发流程。
性能与可靠性：平台已被证明在企业环境中稳定运行，适用于处理复杂和多样化的大数据集。
用户案例：Proagrica 通过使用 HPCC Systems 实现了高效的数据处理和实时分析。

总结

2018 年，大数据的三大挑战（Volume, Velocity, Variety）依然存在，但云存储和开源技术的兴起为解决这些问题提供了新的方向。Python 正在逐渐取代 R 成为数据科学的主流语言，而 NoSQL 数据库如 MongoDB 在处理非结构化数据方面表现突出。区块链技术因其去中心化、安全性和自动化特性，正被多个行业用于优化数据流和提升业务效率。HPCC Systems 作为一款开源、高效的大数据平台，为数据集成和处理提供了全面的解决方案。

展开完整摘要