2018年大数据趋势：解放、整合、信任（英文）_17页-2mb

2018 Big Data Trends Summary

核心内容

Syncsort 的 2018 年年度调查揭示了企业在实施大数据项目时面临的机遇与挑战，重点聚焦于数据湖的使用、数据治理、数据质量、技术集成以及业务效益等方面。调查对象为 200 多名涉及大数据工作的 IT 专业人士，覆盖多个行业，反映了当前大数据技术在企业中的广泛应用和重要性。

主要观点

• 大数据技术已成为企业核心架构的一部分：超过 40% 的受访者表示正在使用 Hadoop 或 Spark 进行生产，超过 30% 正在进行概念验证或试点项目。
• 数据湖是关键的数据整合平台：数据湖被广泛用于数据集成、数据融合、实时分析、高级分析和数据发现等领域，其中 ETL 使用率最高（70.8%），数据融合（39.5%）和高级分析（63.5%）也占据重要位置。
• 大数据带来显著的业务价值：包括提升业务/IT 敏捷性（41.7%）、优化成本（32.8%）、提高合规性（21.4%）和释放主框架资源（30.2%）等。超过 90% 的受访者认为通过优化传统系统来支持大数据项目具有价值。
• 数据质量与治理成为关键挑战：数据质量是当前实施数据湖的最大挑战，其次是技能短缺。97% 的拥有主框架的受访者认为将其数据整合到数据湖中对实时分析具有价值。
• 数据湖需要持续更新：超过 75% 的受访者表示在数据湖中保持数据与源数据同步存在困难，尤其是主框架数据源。数据湖不是一次性任务，需要持续的数据刷新和集成。

关键信息

数据湖的使用场景

• ETL：70.8%
• 数据融合：39.5%
• 实时分析：60.4%
• 高级/预测分析：63.5%
• 数据发现与可视化：53.1%
• 主动档案：30.2%
• 点击流分析与社交媒体数据：29.2%
• 物联网数据：0.5%

企业对数据湖的重视程度

• 数据湖对业务/IT 敏捷性的重要性：41.7%
• 数据湖对成本优化的价值：32.8%
• 数据湖对合规性的帮助：21.4%
• 数据湖对主框架资源释放的贡献：30.2%
• 数据湖对数据容量管理的提升：超过 90% 的受访者认为有价值。

数据湖的主要挑战

• 数据质量：排名第一
• 数据治理：排名第二
• 技能短缺：连续三年排名第一
• 技术变化快：第三
• 数据湖更新困难：第四

数据多样性与数据质量的关系

• 数据源越多，数据质量的重要性越高。
• 有 5 个或以上数据源的受访者中，有 4 倍的可能性将数据质量视为关键因素。

行业关注重点

• 金融与保险行业：最关注数据治理和数据质量。
• 超过 60% 的金融与保险从业者认为确保数据湖中的数据质量是最重要的，而其他行业仅为 40%。
• 金融与保险从业者在数据治理方面面临更多挑战（35% vs. 其他行业 16%）。

业务与技术的结合

• 数据湖不仅是技术平台，更是业务决策的重要支撑。
• 企业正通过优化传统系统（如主框架和大型企业数据仓库）来节省成本，从而支持大数据项目。

总结

2018 年，大数据技术在企业中愈发重要，数据湖成为数据整合与分析的核心平台。随着数据湖的广泛使用，数据质量与治理成为企业关注的重点，尤其是金融和保险行业。然而，部分企业尚未充分认识到数据质量的重要性，这可能导致未来数据湖的分析价值受限。因此，提升数据质量、加强数据治理、优化数据刷新机制将是企业成功实施数据湖的关键。