2022-05-16-未知机构-期货行业大数据平台数据治理与建设方案_17页_2mb

期货行业大数据治理平台解决方案总结

核心内容

本文档介绍了期货行业大数据治理平台的解决方案，重点围绕数据治理的意义、作用、价值以及当前行业数据应用中存在的问题展开，同时提出了系统架构和功能模块设计，旨在构建一个统一、高效、安全的数据治理体系。

系统架构

系统架构分为四个主要层级：

1. 贴源层：原始数据存储层，负责数据的采集和初步处理。
2. 整合层：数据整合与清洗层，用于将不同来源的数据进行统一格式和结构的转换。
3. 汇总层：数据汇总与聚合层，实现数据的集中管理和初步分析。
4. 集市层：数据服务输出层，为业务应用提供标准化的数据服务。

数据质量检核与反馈系统

该系统包含以下核心功能模块：

检核对象管理

• 对象编辑：允许修改导入表、表和字段的相关属性。
• 检查对象导入查询、修改删除。

检核规则管理

• 支持灵活定制自定义检核规则，实现可视化规则配置和管理。
• 包括以下规则类型：
  • 有效性
  • 关联性
  • 一致性
  • 准确性
  • 及时性

检查频度管理

• 制定质量监控周期和时间，支持按日、周、月、年等频度进行检核。

问题管理

• 维护并管理发现的数据质量问题。
• 对问题进行描述、分析，并划分问题归属业务分类。

报告管理

• 提供质量问题报告查询功能，支持按部门、系统、问题进行汇总查询。

系统管理

• 权限管理：设置管理员和操作员权限。
• 检核对象配置：管理需检核的表。

数据治理概述

意义

• 是构建完善、共享、统一管理数据环境的基本保障和重要组成部分。
• 是将数据作为资产进行管理的有效手段。

作用

• 确定岗位角色和相应责任及管理流程。
• 保证业务数据在采集、集中、转换、存储、应用全过程中的完整性、准确性、一致性和时效性。

价值

• 企业数据治理的核心驱动力是数据质量。
• 通过提高数据质量实现更多业务价值。
• 以实现业务目标为数据管理和服务的核心驱动力，优化数据架构，提升数据仓库和信息化管理系统建设，支持管理能力提升、精细化运营和科学决策。

数据治理阶段目标

1. 数据战略与规划：制定统一的数据战略，明确数据治理方向和目标。
2. 数据组织与职责：建立数据治理组织架构，明确各角色职责。
3. 数据制度与管理流程：完善数据管理制度和流程，确保数据治理工作的规范性和可持续性。

期货行业数据现状及问题

数据架构方面

• 数据分散在多个业务系统中，形成竖井式架构，造成信息孤岛。
• 缺乏稳定、抗源变化的数据层，无法支撑未来共享性应用。

数据应用难题

• 缺少统一的应用分析标准：
  • 各集市系统指标重复。
  • 指标逻辑视图不一致，导致指标难以共享。
• 缺少统一的基础数据标准：
  • 各系统存在冗余数据。
  • 业务含义一致但名称不一致，或名称一致但含义不一致。
  • 业务代码定义混乱，影响数据一致性。

数据质量方面

• 缺乏对数据质量问题的归纳和总结，缺少反馈机制。
• 长期存在数据质量问题，影响业务发展。

数据应用现状分析总结

随着业务系统不断增多和数据种类日益丰富，数据量持续增大。如果不采取有效手段解决数据架构、数据标准和数据质量等问题，这些问题将不断积累，影响整体业务发展。因此，构建一个统一、规范、高效的数据治理平台是当务之急。

成效与特点

• 统一管理：实现数据从采集到应用的全流程管理。
• 灵活配置：支持自定义检核规则和灵活的检查频度。
• 问题反馈机制：建立数据质量问题的发现、分析和反馈闭环。
• 支持决策：通过数据质量管理提升数据准确性，为科学决策提供支撑。

数据管理系统建设情况

• 数据服务管理：提供数据需求管理、数据服务和应用系统建设支持。
• 数据管理模块：
  • 数据架构与模型管理
  • 数据标准管理
  • 元数据管理
  • 数据质量管理
  • 主数据管理
  • 数据保留与归档管理
  • 数据安全管理
  • 内容管理