MaxCompute_2.0阿里巴巴的大数据进化之路_24页_7mb

阿里云大数据计算服务（MaxCompute）专场总结

核心内容

阿里云大数据计算服务（MaxCompute/ODPS）是阿里巴巴集团和阿里云的大数据旗舰计算平台，具备99%存储 + 95%计算的高效特性。它支持集团内部所有业务的数据处理需求，并通过登月计划实现了从多个独立计算平台向统一平台的迁移。该平台不仅具备高性能、低成本的特性，还提供了完善的安全机制、可管理性、生态兼容性，并支持多种计算模型，如SQL、MapReduce、图计算等。

主要观点

• 统一平台：登月计划旨在统一集团内部的数据计算平台，解决Hadoop平台扩展性差、性能低、安全性不足、版本不统一等问题。
• 高性能与低成本：MaxCompute 2.0在2016年Sort Bench测试中以1.44$/TB的成本完成100TB排序，耗时仅377秒，显著优于传统方案。
• 安全可靠：MaxCompute支持项目级别的数据保护机制，跨租户访问控制，以及基于阿里云RAM的权限管理，保障多租户环境下的数据安全。
• 生态开放兼容：平台兼容多种数据源和工具，如RDS、OSS、AnalyticDB等，并支持JDBC、ODBC、Python Pandas等生态连接方式。
• 灵活的计算模型：支持SQL、MapReduce、图计算等多种计算模型，满足不同场景的技术需求。

关键信息

平台能力

• 统一平台：支持集团所有业务，提供统一的数据管理、任务调度、生命周期管理。
• 高性能：通过架构优化和计算模型改进，显著提升性能。
• 低成本：具备高性价比，支持按需扩展，零运维介入。
• 安全性：提供数据分级、脱敏、授权等机制，保障数据安全。
• 可管理性：具备统一的数据同步工具、任务调度中心和数据地图管理。

技术架构与优化

• MaxCompute 2.0架构：持续升级，优化存储和计算资源，提升整体效率。
• OnlineJob：专为低延迟、交互式场景设计，支持作业间复用、网络直连、事件驱动调度，提升可靠性。
• 数据集成工具：包括Fluentd、Sloop、DataX、阿里云数据传输等，支持多种数据源和格式的高效集成。
• 计算模型：支持SQL、MapReduce、图计算等，满足多样化的数据处理需求。

典型应用场景

• 交互式BI：如QuickBI、Shennong数据监控、SLS日志搜索，支持低延迟查询和非固定查询。
• 数据处理与分析：涵盖数据清洗、数据同步、报表分析、数据大屏等。
• 机器学习与推荐引擎：MaxCompute与PAI深度集成，支持深度分析和推荐系统构建。

产品生态与服务

• 数据上云：支持多种数据源（如RDS、OSS、AnalyticDB）和工具（如OGG、Sqoop、Flume）的数据集成。
• 一站式服务：提供DataIDE、MaxCompute客户端、SDK等工具，实现数据处理全流程管理。
• 开放社区：支持开源技术生态，鼓励社区合作，提升平台兼容性和扩展性。

专场议程

总结

MaxCompute作为阿里云大数据计算服务的核心，不仅在集团内部实现了统一的大数据平台，还在公共云环境中提供了高性能、低成本、安全可靠的数据处理能力。通过持续的技术升级和生态兼容，MaxCompute已成为支持多种业务场景的重要工具，涵盖数据处理、交互式分析、机器学习等多个领域。其一站式服务和丰富的工具链，使得用户能够高效地进行数据集成、处理和分析，是当前大数据平台的优选方案。