2018大数据趋势_解放_整合_信任（英文版）_15页_2mb

2018 Big Data Trends Summary

核心内容

2018年，大数据技术在企业中持续发挥重要作用，特别是在数据湖（Data Lake）的构建和应用方面。数据湖不仅成为企业整合数据的核心平台，还推动了数据质量、数据治理、实时分析等领域的进步。企业通过数据湖实现了成本节约、业务增长和运营效率提升，同时也面临数据质量、技术更新和数据治理等挑战。

主要观点

数据湖的使用与重要性

• 数据湖是企业整合多源数据的关键工具，支持数据融合、数据存档、实时分析等多种应用场景。
• ETL 是最受欢迎的数据湖使用案例，占 70.8%。
• 数据融合（Data Blending） 和 主动存档（Active Archive） 也受到广泛关注，分别占 39.5% 和 30.2%。
• 实时分析（Real-time Analytics） 和 高级预测分析（Advanced/Predictive Analytics） 同样重要，分别占 53.1% 和 63.5%。
• 数据湖的建设不是一次性任务，需要持续刷新数据以确保洞察力的准确性。

数据湖对业务的价值

• 数据湖帮助企业实现 成本节约、运营效率提升、业务增长 和 数据治理。
• 数据湖有助于提高业务和IT的敏捷性，有 41.7% 的受访者认为这是重要价值。
• 数据湖支持企业实现合规性管理，通过长期保留数据来满足监管要求。
• 超过90%的受访者认为数据湖能够优化传统系统负载，节省成本，从而支持更多大数据项目。

数据湖的挑战

• 数据质量与数据治理是当前实施数据湖的主要挑战，尤其是数据湖中数据的准确性与完整性。
• 技术更新速度、数据湖的刷新能力以及技能短缺是其他主要障碍。
• 超过75%的受访者表示在数据湖中保持数据同步存在困难，尤其在处理主框架（Mainframe）数据时。
• 数据多样性增加导致对数据质量的要求更高，有超过 60% 的受访者认为数据湖中存储企业级数据是关键。

关键信息

企业角色与行业分布

• 数据架构师 和 数据科学家 是大数据项目中占比最高的两个角色，分别为 24.0% 和 20.8%。
• 业务智能/数据分析师 和 开发者 也占较大比例，分别为 12.5% 和 15.1%。
• 金融服务业和保险行业 对数据治理和数据质量的关注度最高，分别有 60% 和 40% 的受访者将其列为数据湖实施的重点。

数据湖实施的优先级

• 数据湖的实施是企业大数据战略的重要组成部分，超过 90% 的受访者认为其价值显著。
• 数据湖的建设与维护需要持续投入，尤其是数据的实时同步和更新。

技术趋势

• Hadoop 和 Spark 是当前企业最常用的大数据平台，它们在数据集成、分析和存储方面提供了强大的支持。
• 数据湖的使用将更加广泛，尤其是在支持实时分析和高级预测分析方面。
• 大数据技术将持续发展，虽然 Hadoop 可能逐渐被 Spark 等技术取代，但其核心价值不会改变。

重要发现

数据质量与业务价值的关联

• 超过 60% 的受访者认为数据湖中存储企业级数据是最重要的。
• 数据湖中整合 5个以上数据源 的企业，有 4倍 的可能性将数据质量视为关键挑战。
• 部分受访者未将数据质量列为优先事项，却高度关注 高级预测分析 和 实时分析，这可能影响其分析结果的准确性。

主框架数据的重要性

• 97% 的主框架用户认为将主框架数据整合到数据湖中对实时分析具有重要价值。
• 90% 的 IBM i 用户认为整合该数据对大数据项目具有重要意义。

结论

2018年，数据湖已成为企业大数据战略的核心组成部分，其应用推动了数据治理、数据质量、实时分析等领域的快速发展。尽管存在数据同步、治理和技能短缺等挑战，但数据湖的实施仍被广泛认为是提升业务价值和运营效率的关键手段。随着数据湖的不断成熟，企业将更加重视数据质量与治理，以确保分析结果的准确性和可靠性。