大数据主题深度研究_数据爆炸的大数据时代_35页_4mb

报告摘要

六数据主题深度研究总结

核心内容

本报告深入探讨了大数据的定义、价值、处理技术、产业生态及政策支持，旨在全面分析大数据产业的发展现状与未来趋势。

主要观点

大数据的定义与特点
- 大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。
- 具有4V特点：Volume（数据量大）、Variety（类型繁多）、Value（价值密度低）、Velocity（速度快、时效高）。
- 从管理视角来看，大数据是一种反映物质世界和精神世界运动状态的信息资源，具有复杂性、决策有用性、高速增长性、价值稀疏性和可重复开采性。
大数据的价值
- 大数据能够预测人类行为，如93%的个体行为可以被预测。
- 大数据技术的广泛应用为商业决策、市场分析、疾病诊断等提供支持。
- 数据本身不产生价值，关键在于如何分析和利用数据。
企业涌入大数据市场
- 大数据市场主要分为两类企业：以大数据技术为核心的创新型公司和以数据库/数据仓储为主的知名公司。
- 互联网企业如百度、阿里、腾讯等在大数据市场占据主导地位。
- 国内大数据市场仍处于发展初期，产品和服务在差异化、商业模式等方面尚不成熟。
大数据处理技术
- 大数据处理包括采集、导入/预处理、统计/分析、挖掘四个步骤。
- 分布式文件系统（如HDFS、GFS）和分布式数据库系统（如HBase、Bigtable）是大数据处理的基础。
- 分布式数据处理系统（如MapReduce）和开源平台（如Hadoop）是实现大数据处理的关键技术。
大数据与云计算的关系
- 云计算为大数据提供了弹性扩展的存储和计算资源，是大数据的重要支撑。
- 大数据的“云”化趋势明显，云计算成为大数据处理的重要平台。
大数据产业架构
- 大数据产业链包括数据获取、存储、管理、挖掘、交易、应用和服务等环节。
- 从产业架构来看，分为硬件、基础软件、应用软件和信息服务四个部分。

关键信息

1. 大数据处理系统的架构

分布式文件系统：如Hadoop、FastDFS、GFS等，用于解决海量数据存储和管理难题。
分布式数据库系统：如HBase、Cassandra等，适应多样性和低价值密度的数据处理需求。
分布式数据处理系统：如MapReduce、Storm等，实现高效的数据处理与分析。
开源实现平台：如Hadoop，提供分布式计算和存储能力，降低企业技术门槛。

2. 大数据服务链

数据源：主要由大型企业和组织掌握，包括互联网公司、电商平台、搜索引擎等。
数据管理工具：如Informatica、HortonWorks、Splunk等，提供数据集成、质量控制和处理能力。
大数据应用工具：如IBM的Watson，提供基于大数据的人工智能和决策支持服务。
云计算服务提供商：如阿里云、腾讯云、AWS、Azure等，为大数据提供基础设施和平台支持。

3. 大数据行业市场规模

2014年全球大数据市场规模约为285亿美元，同比增长53.23%。
预计2020年全球大数据市场规模将达到5397.10亿美元，年均复合增长率约为56.97%。
中国大数据产业起步较晚，但发展迅速，市场规模持续扩大。

4. 大数据产业政策

中国近年来高度重视大数据发展，政策支持力度不断加大。
《促进大数据发展行动纲要》明确了数据开放和技术研发方向。
多项政策推动大数据与“互联网+”、云计算、物联网等技术融合，促进产业协同发展。

未来趋势

大数据与云计算的融合将进一步加深，形成新的产业生态。
大数据市场将更加集中，中小企业面临更大的竞争压力。
数据安全和隐私保护成为大数据应用的重要课题。
中国大数据市场仍有较大发展空间，政策支持和技术创新将推动其持续增长。

风险提示

技术变化迅速，企业有落后潮流的风险。
行业发展速度和空间可能不及预期。
中国开放政府数据的政策可能存在执行不力或摇摆不定的风险。

附：主要企业与技术

企业/技术	类型	代表产品/服务
Hadoop	开源平台	分布式存储与计算
MapReduce	分布式计算模型	批处理与流处理
Bigtable	分布式数据库	高可扩展性存储
IBM Watson	人工智能平台	认知计算与决策支持
Azure	云计算平台	大数据与人工智能服务
阿里云	云计算平台	大数据存储与处理
浪潮信息	存储设备	海量数据存储解决方案
华为	服务器与网络设备	云计算与大数据统一架构
用友网络	软件研发	数据管理与分析工具