CAC-大数据标准化白皮书-2014-_63页_1mb

大数据标准化白皮书总结

核心内容

本白皮书由工业和信息化部软件服务业司和国家标准化管理委员会工业二部指导，中国电子技术标准化研究院编制，旨在从应用、技术、产业和标准等多个角度，探讨大数据的发展现状与标准化工作重点。白皮书强调大数据不仅是数据量的增加，更是数据从量到质的转变，是推动经济社会变革的重要力量。

主要观点

1. 大数据的定义与特征

   • 大数据是一种重要的战略资产，其特征包括数量（Volume）、多样性（Variety）、速度（Velocity）、价值（Value）和真实性（Veracity）。
   • 数据的多样性、价值和真实性最受关注，而“大”只是数据量的表象。

2. 大数据的重要作用

   • 改变经济社会管理方式，提升决策科学性与精确性。
   • 促进行业融合发展，通过数据共享推动跨领域协作。
   • 推动产业转型升级，为传统行业提供新的发展路径。
   • 助力智慧城市建设，提高城市管理效率和居民生活质量。

3. 大数据发展现状

   • 国外发展：美国、欧盟、联合国及多国联盟在大数据领域进行了广泛布局，推动数据开放、技术创新和标准化工作。
   • 国内发展：多个地方政府和机构在大数据领域积极布局，如北京市、上海市、广东省、陕西省和贵州省，推动大数据应用和产业生态建设。
   • 行业应用：大数据已在地图数据、电子商务和科学研究等领域得到广泛应用，创造了显著的商业价值和社会效益。

关键信息

国外大数据发展情况

• 美国：发布《大数据研究和发展倡议》，推动政府与行业合作，提升数据处理和分析能力。NIST提出《大数据参考架构》。
• 欧盟：推行“欧盟开放数据战略”，推动数据开放和再利用，建立了“泛欧门户”。
• 联合国：推出“全球脉动”项目，利用大数据进行早期预警和援助决策。
• 多国联盟：如“开放政府联盟”，推动数据共享和开放，促进政府透明度和数据利用。

国内大数据发展情况

• 地方政府：北京市、上海市、广东省、陕西省、贵州省等在大数据应用和产业建设方面处于领先地位，推动数据开放和公共服务优化。
• 企业与机构：京东、高德地图、阿里等企业利用大数据优化业务流程，提高市场竞争力。
• 科研机构：中国科学院计算机网络信息中心建立了科学数据库，为科研提供数据支持。

大数据技术参考模型与关键技术

• 技术参考模型：基于信息流和IT集成两个维度，包含五个主要模块：数据提供者、数据消费者、大数据处理提供者、大数据框架提供者和系统协调者，以及安全隐私和管理模块。
• 核心技术：
  • 数据准备技术：包括数据表示、元数据注册、本体元建模等。
  • 数据存储技术：如分布式文件系统（HDFS、GFS）、列式存储、数据温度技术、非关系型数据库（NoSQL）。
  • 数据平台技术：如面向服务的体系结构（SOA）、MapReduce框架、内存计算。
  • 数据处理技术：包括数据挖掘、流处理等。
  • 大数据安全与隐私：数据隐私保护成为重要课题，需在数据公开与数据安全之间找到平衡，涵盖位置隐私、标识符匿名保护等。

标准体系与建议

大数据标准体系

• 国际标准：ISO/IEC JTC1 SC32、ITU、NIST等机构正在推动大数据标准化工作，涵盖数据管理、交换、存储、处理等方面。
• 国内标准：全国信息技术标准化技术委员会提出了大数据标准体系框架，包括基础、技术、产品、应用等维度。
• 急需标准：包括数据质量、数据表示、非结构化数据、数据安全、隐私保护等。

我国大数据工作重点建议

1. 加强大数据相关政策法规研究。
2. 加强大数据核心技术研究。
3. 推动开放数据集建设。
4. 鼓励利用大数据开展服务，创新应用模式。
5. 系统开展大数据标准化工作。

附录与调研

• 白皮书附有调研单位名单，涵盖74家单位，包括高校、科研机构、企业等。
• 通过问卷调研，收集了200余份有效数据，为大数据发展提供了实证支持。

结论

大数据已成为推动社会、经济、科技发展的重要力量。其发展需要政策支持、技术创新和标准体系的建设。白皮书为大数据发展提供了系统性指导，呼吁社会各界共同推动大数据的标准化与应用，以提升社会整体决策与服务管理能力。