2018年-Talkingdata_数据应用工程成熟度模型_49页_3mb

数据应用工程成熟度模型总结

核心内容

数据应用工程-成熟度（LPDT）模型是一种用于评估企业在大数据环境下的数据应用能力的框架，分为五个成熟度阶段：业务系统化（Level1）、业务数据化（Level2）、数据资产化（Level3）、业务智能化（Level4）和企业智能化（Level5）。模型从战略组织、数据工程过程、数据维度和工具四个方面进行评估。

主要观点

• 数据产生价值的过程：数据从获取、存储、评估、整理、增强、分析到应用，每一步都对最终数据价值的实现至关重要。
• 数据应用过程：分为数据理解、数据准备、数据开发、部署运营四个阶段，每个阶段包含多个子过程和任务项，形成一个完整的数据应用流程。
• 数据维度：包括元数据管理、数据质量和数据安全三个维度，这些维度贯穿于数据应用的全过程。
• 数据工具与技术：随着大数据的发展，数据处理工具趋向开源化、多样化和智能化，能够有效支持数据应用的各个阶段。

关键信息

成熟度阶段（Level）

数据应用过程（Process）

1. 数据理解

   • 任务项：业务理解、数据评估
   • 成果：业务调研报告、需求文档
   • 关键点：明确目标、数据可行性评估
   • 难点：跨部门协作、数据安全与合规

2. 数据准备

   • 任务项：数据获取、数据定义、数据整理、数据增强
   • 成果：数据源目录、数据质量监控/评估系统、数据处理方案
   • 关键点：数据定义、数据处理流程设计
   • 难点：数据孤岛、数据处理技术要求高

3. 数据开发

   • 任务项：数据分析、数据探索、数据建模
   • 成果：分析报告、模型设计方案、模型代码
   • 关键点：建模过程、特征工程
   • 难点：假设提出、算法选择、数据处理复杂度

4. 部署运营

   • 任务项：数据应用、运营监控、效果分析
   • 成果：部署评估报告、业务系统模型部署、指标监控结果
   • 关键点：模型部署、监控指标设定
   • 难点：真实效果数据获取、多因素影响评估

数据维度（Dimensionality）

1. 元数据管理

   • 作用：帮助理解数据的来源、结构和处理过程
   • 分类：业务元数据、技术元数据、操作元数据
   • 管理方法：制定管理策略、创建术语词库、实施元数据管理、打通元数据链路

2. 数据质量

   • 维度：准确性、完整性、一致性、时效性、精确度、有效性
   • 管理方法：PDCA循环、数据质量管理提升方法、质量工具使用

3. 数据安全

   • 层次：制度安全、技术安全、运算安全、存储安全、传输安全、产品和服务安全
   • 管理方法：明确安全要求、定义安全策略、实施安全措施、进行安全审计

数据工具与技术

常用主要开源工具

数据仓库与数据管理工具

数据清洗、集成和ETL工具

BI与可视化工具

数据建模与数据科学工具

附录信息

【附录1】术语

• 元数据：描述数据的数据
• 数据：数字、文字、图像等，来自事实
• 信息：数据经过处理后具有意义
• 数据集：数据的集合
• 数仓：为企业决策提供数据支持
• 结构化数据：二维表结构，由关系型数据库管理
• 非结构化数据：没有预定义数据模型，如文本、图片等
• ETL：数据抽取、转换、加载
• BI：商业智能，利用数据实现商业价值
• AI：人工智能，模拟人类思维
• ML：机器学习，实现智能优化
• CDO：首席数据官，负责数据管理和应用
• SaaS：软件即服务，基于Web的软件管理模式

【附录2】溯源与关系

• IBM-数据治理成熟度模型
• 微软-团队数据科学模型
• 阿里-大数据安全成熟度模型
• CRISP-DM模型
• 御数坊-DCMM模型
• NIST-大数据架构

【附录3】参考文献

• IBM-数据治理成熟度模型
• 微软-团队数据科学模型
• 阿里-大数据安全成熟度模型
• CRISP-DM模型
• 御数坊-DCMM模型
• NIST-大数据架构

总结

数据应用工程成熟度模型为企业提供了一套系统化的评估和提升数据应用能力的方法论。模型涵盖了数据应用的全过程，包括数据理解、数据准备、数据开发和部署运营，以及三个核心数据维度：元数据管理、数据质量和数据安全。通过使用合适的工具和技术，企业可以逐步从低成熟度向高成熟度演进，最终实现企业智能化。