20210916-IBM商业价值研究院-人工智能_应对AI数据困境_恰当的数据集成方法_治理和工具_16页_585kb

IBM商业价值研究院：应对AI数据困境

核心内容

IBM商业价值研究院发布的《应对AI数据困境》报告，重点探讨了企业在部署人工智能（AI）过程中面临的数据集成、治理与工具选择等关键挑战。报告指出，数据是AI成功的核心，但许多企业在数据准备、整合和治理方面存在严重不足，导致AI项目难以落地和规模化。因此，企业需要采取系统性方法，结合业务目标、数据特性与治理机制，才能有效利用AI实现价值。

主要观点

1. 数据是AI成功的基石

• AI的成效高度依赖于数据质量、数量和多样性。
• 数据问题（如数据漂移、数据孤岛、数据治理缺失）是AI项目失败的主要原因。
• AI的特殊需求包括：
  • 规模：数据越多，AI结果越准确。
  • 速度：需要实时或近实时数据以支持快速决策。
  • 种类：整合结构化、非结构化、内部和外部数据以增强洞察。
  • 质量：数据必须准确反映现实，避免偏见影响结果。
  • 背景理解：人类对数据的解读方式影响AI的使用效果。

2. 从业务问题出发，避免“大数据”陷阱

• 企业应明确业务目标，选择适合的解决方案，避免盲目追求“大数据”。
• 小而精准的数据集有时比大规模数据更能解决实际问题。
• 数据科学家需关注业务场景，而非仅沉迷于技术细节。

3. 数据治理与信任是AI落地的关键

• 企业需要建立基于权限的数据治理机制，确保数据来源透明、可追溯。
• 数据治理不仅涉及内部数据管理，还包括与外部数据源的整合与共享。
• 信任是AI应用的核心，需通过数据溯源、透明度和合规性来建立。

4. 工具与平台是AI成功的重要支撑

• 传统数据工具难以满足AI的复杂需求，需开发专门的AI数据工具。
• 推荐使用可复用的数据管道、数据虚拟化、无代码建模工具等来提升效率。
• AI工具应与业务流程紧密结合，支持非技术人员（如“公民数据科学家”）的使用。

关键信息

企业数据挑战现状

• **90%**的企业难以在全公司范围内扩展AI应用。
• **58%**的组织认为数据质量问题是最主要的AI实施障碍。
• **45%**的组织缺乏整理有序的数据。
• **40%**的组织面临数据治理问题。
• **63%**的IT专业人员认为数据复杂性和数据孤岛是AI采用的最大障碍。

本地化数据洞察的价值

• 本地化数据（如地区、行业、客户群体）能提供更具针对性的AI洞察。
• IBM COVID-19 Lockdown Index是本地化数据整合的典型案例，结合疫情数据、社交媒体、新闻、Airbnb等来源，生成实时风险评估。
• 该指数帮助政府和企业更有效地制定应对策略。

数据治理的自动化与工具创新

• IBM首席数据办公室开发了IBM词汇表，用于统一数据术语，提高数据治理效率。
• 通过AI实现自动化元数据生成，将数据整理时间从6-8周缩短至10天。
• 数据治理工具应具备数据溯源、透明度、合规性等功能，以增强AI洞察的可信度。

行动指南

面向不太成熟的AI采用者

• 关注业务价值：明确AI能解决的问题，向利益相关方展示AI的效益。
• 整合实际可用数据：避免使用“玩具数据”或合成数据进行试验。
• 治理精简：关闭未展示稳定成效或缺乏支持的项目。

面向更成熟的AI采用者

• 投资数据新闻：通过宣传和故事化方式，建立对AI和数据的积极文化。
• 迭代整合与自动化：使用敏捷方法，尽早识别数据问题并建立复用机制。
• 谨慎赋能公民数据科学家：提供无代码工具，但需配合强有力的治理机制。

合作与平台建设

• 企业应与合适的合作伙伴协作，获取数据、工具和平台支持。
• 建立统一的战略数据平台，集成AI模型与数据资产，提高复用效率。
• 企业架构需与数据处理方式保持一致，避免数据孤岛。

专家背景

Michael Haydock

• IBM院士，全球企业咨询服务部副总裁兼首席科学家。
• 专注于数值优化与定量机器学习，用于客户关系管理与供应链优化。

Steven Eliuk

• IBM全球首席数据办公室（GCDO）副总裁。
• 负责AI平台与基础设施开发，确保数据治理、隐私与合规。

Susara van den Heever

• IBM云与认知软件专家实验室主任。
• 致力于通过数据和AI提升企业效率与环保能力。

总结

AI的成功依赖于数据质量、治理、整合与工具选择。企业需要从业务问题出发，选择合适的数据源与分析方法，并通过治理与信任机制确保AI的可靠性。同时，采用自动化工具与平台能够显著提升数据处理效率，支持AI在企业内部和外部的广泛应用。IBM商业价值研究院强调，只有在具备清晰业务目标、良好的数据文化和先进的技术工具支持下，企业才能在AI领域取得可持续进展。