2018-大数据主题深度研究：数据爆炸的大数据时代_37页-4mb

六数据主题深度研究总结

核心内容

本报告探讨了大数据的发展趋势、处理技术、产业现状及政策环境，揭示了大数据在现代商业和政府管理中的重要作用。大数据被视为一种新型的资源，其价值在于通过分析海量数据中隐藏的信息，为企业和政府提供决策支持和业务优化。

主要观点

• 大数据的定义：大数据是指无法在可承受时间内用常规工具处理的数据集合，其特点包括数据量大、类型繁多、价值密度低、处理速度快。
• 大数据的预测能力：2010年《Science》研究指出，约93%的人类行为是可以预测的，这为大数据分析提供了理论基础。
• 大数据的商业价值：大数据通过预测消费者行为、信用评估、疾病诊断等方式，为商业和公共管理带来显著价值。
• 大数据的处理流程：大数据处理包括采集、导入/预处理、统计/分析和挖掘四个步骤，每一步都面临不同的挑战。
• 大数据处理技术：大数据处理依赖于分布式文件系统、分布式数据库系统和分布式数据处理系统，Hadoop是其中重要的开源实现平台。
• 云计算与大数据的关系：云计算为大数据提供基础架构支持，而大数据是云计算的重要应用，两者相辅相成。
• 大数据的产业链：大数据产业链包括数据源、数据管理、数据应用等环节，涵盖硬件、软件、服务等多个层面。
• 中国大数据发展：中国大数据产业起步较晚，但发展迅速，市场规模和增长率均显著提升，未来具有较大发展潜力。

关键信息

大数据处理技术

• 采集：使用多种数据库接收来自客户端的数据，如Web、App、传感器等，需考虑并发数和负载均衡。
• 导入/预处理：将数据导入分布式数据库或存储集群，进行清洗和预处理，满足实时计算需求。
• 统计/分析：利用分布式数据库和计算集群进行数据分析，如EMC的GreenPlum、Oracle的Exadata和Hadoop。
• 挖掘：基于算法进行数据挖掘，如Kmeans、SVM和NaiveBayes，用于预测和高级分析。

大数据处理系统架构

• 分布式文件系统：如Hadoop的HDFS、Google的GFS等，解决大规模数据存储和管理问题。
• 分布式数据库系统：如HBase、Cassandra、MongoDB等，适应大数据多样性和低价值密度特性。
• 分布式数据处理系统：如Storm、S4、Kafka等，支持流处理和批处理，满足实时和非实时数据处理需求。

大数据与云计算

• 云计算为大数据带来的变化：提供弹性扩展的存储和计算资源，降低中小企业运营成本。
• 大数据逐步“云”化：云计算平台支持大数据处理，推动数据中心向集中化、共享化发展。

大数据产业

• 数据基础设施：包括存储设备、服务器、网络设备、IT系统集成商和网络安全服务商，构成了大数据产业的基础。
• 大数据服务链：涵盖数据源、数据管理、数据应用等环节，涉及多种工具和服务。
• 中国大数据市场规模：2014年全球市场规模约285亿美元，预计2020年将增长至5397.10亿美元，中国也在快速崛起。

大数据产业政策

• 政策支持：中国政府高度重视大数据发展，自2014年起多次在政策文件中提及大数据，推动其应用和研发。
• 重点政策：
  • 2012年《“十二五”国家战略性新兴产业发展规划》
  • 2013年《重庆市大数据行动计划》
  • 2015年《促进大数据发展行动纲要》
  • 2015年《国民经济和社会发展第十三个五年规划》
  • 2016年《关于组织实施促进大数据发展重大工程的通知》

结论

大数据已成为推动商业和政府决策的重要工具，其发展依赖于云计算等技术支持。尽管目前大数据市场仍处于发展阶段，但其应用前景广阔，未来将形成更加完善的产业生态。在中国，大数据产业虽然起步较晚，但发展迅速，政策支持和市场需求共同推动其快速增长。

风险提示

• 技术变化迅速：企业需不断更新技术，否则可能落后于潮流。
• 行业发展速度与空间：可能不及预期，需谨慎评估。
• 政策执行：政府数据开放政策可能存在执行不力或政策变化的风险。

免责条款

本报告为优品金融研究所的特定客户及专业人士提供，未经书面授权不得更改、传送或派发。报告内容仅供参考，不构成投资建议，使用时需谨慎。