华为大数据解决方案_68页_7mb

华为大数据解决方案汇报总结

核心内容概述

华为大数据解决方案以FusionInsight金融大数据平台为核心，旨在构建企业级、开放性、易用性、安全性和高效性的大数据平台，支持多种数据类型和分析场景。平台不仅提供大数据存储、处理、分析和服务，还通过混合型数据平台架构、分布式计算与存储技术、以及丰富的行业应用实践，帮助金融机构实现数据驱动的业务创新。

主要观点与关键信息

大数据发展趋势

• 未来银行趋势：客户更加移动化、个性化、社交化、实时化。
• 混合型数据平台成为驱动业务创新的新平台。
• 数据类型多样化，包括结构化、非结构化、增量、存量、行内、行外数据。
• 内存计算兴起，推动Hadoop生态持续壮大。
• 多种数据处理技术并存，如批处理、流处理、交互查询等。

华为大数据平台关键技术

• FusionInsight：提供大数据存储、处理、分析和服务平台。
  • Hadoop层：基于开源增强，支持多种计算模型。
  • DataFarm层：包含数据集成（Porter）、数据挖掘（Miner）、数据服务（Farmer）。
  • FusionInsight Manager：统一管理框架，支持系统管理、数据安全与治理。
• FusionInsight Porter：支持多源数据集成，包括HDFS、HBase、SFTP、FTP等。
• FusionInsight Miner：基于分布式内存计算，支持机器学习、深度学习等算法，具备高效率与开放性。
• FusionInsight Farmer：提供大数据应用使能器，支持快速开发与集成。
• HBase：支持二级索引、高效存储与查询，兼容大文件与小文件存储。
• Spark：支持实时流处理与离线分析，提升计算效率。
• Elk：支持交互式SQL查询，性能优于Impala。

数据处理平台特点

• 分布式计算框架：支持批处理、流处理、交互查询等。
• 分布式存储：基于HDFS，支持多种存储格式如ORC、Parquet。
• 基础设施：包括Standard Server、IMC Server、Storage Server、Network、Pluggable Accelerator。
• SQL-on-Hadoop：支持标准SQL语法，降低使用门槛。
• HBase MOB：优化小文件存储，减轻NameNode压力。

数据处理技术演进

• Hadoop 2.0支持YARN，实现多种计算模型在同一个集群中运行。
• Spark支持内存计算，适合数据挖掘与实时流处理。
• 内存计算成为主流，提升数据处理效率。

大数据平台参考架构

• 包含操作型数据区、分析型数据区、集成型数据区、历史数据区。
• 各区域功能不同，分别对应不同的业务需求。

大数据应用场景

• TD数仓卸载：将传统数据仓库的批处理任务迁移到大数据平台，降低存储与处理成本。
• HDS（历史数据存储）：支持历史数据的归档、查询与分析。
• 运维日志实时分析：支持高吞吐、低延迟的日志处理与分析。
• 影像存储/查询：支持非结构化数据的存储、查询与内容分析。

行业实践与案例

• 中国工商银行：利用FusionInsight进行网银日志分析，支持数据清洗与存储，提升数据处理效率。
• 招商银行：实现历史明细查询与实时营销业务，优化数据处理流程。
• XX银行智能运维业务：通过大数据平台实现实时监控与故障定位，支持秒级KPI监控与日志分析。
• XX银行影像存储/查询：支持非结构化数据存储与查询，提升业务处理效率。

关键技术价值

• 高性能与高并发：支持数十亿行、数百万列的数据处理，满足实时查询与分析需求。
• 开放性与易用性：支持多种分析引擎、数据格式，便于与现有系统对接。
• 安全性与可靠性：提供数据加密、网络隔离、HA机制、灾备方案。
• 灵活扩展性：支持水平扩展，适用于各种数据量与处理需求。
• 企业级特性：满足金融等保、易管理、易用等要求。

项目目标与成效

• 建立一体化大数据平台，实现数据采集、存储、分析与应用。
• 提升运维效率，支持实时监控与历史数据查询。
• 优化数据存储结构，降低存储与处理成本。
• 支持多种业务场景，包括客户细分、风险管控、营销支持、产品运营等。

如何建设成功的大数据平台

华为提出五步法建设大数据平台：

1. 业务牵引：明确业务需求，驱动平台建设。
2. 架构设计：设计合理的平台架构与数据处理流程。
3. POC（概念验证）：验证平台可行性，确认性能指标。
4. 先导实施：在部分系统中试点部署。
5. 批量部署：全面推广至企业业务系统。

结语

华为通过FusionInsight大数据平台，帮助金融机构实现数据价值最大化，提升业务效率与运维能力，构建智能化、高效化、可靠的大数据生态系统。