大数据MPP产品测评指标研究与横向测评_46页_8mb

大数据MPP产品测评指标研究与横向测评结果总结

核心内容概述

本报告由中国软件评测中心周润松发布，旨在对大数据MPP（Massively Parallel Processing）数据库产品进行测评指标研究与横向测评，重点分析了安全性、兼容性、容错性、可扩展性、效率基准及资源消耗等方面的表现，并通过TPC-DS业务模型进行性能测试，评估不同厂商产品的实际表现。

主要观点与关键信息

1. 测试背景

• MPP数据库作为大数据处理的核心技术之一，具有Shared Nothing Cluster架构，支持数百台节点规模，处理能力达到TB~PB级。
• 具备高扩展性、高可用性，并支持ACID特性。
• 测试涵盖安全性、兼容性、容错性、可扩展性、效率等多个维度，以评估MPP数据库在大数据场景下的综合性能。

2. 测试指标体系

• 非功能测试指标体系：涵盖安全性、兼容性、容错性、可扩展性等。
• 效率基准：基于TPC-DS业务模型，包含运营系统、数据更新程序、即席查询和报表查询等场景。
• TPC-DS vs TPC-H：
  • TPC-DS支持更复杂的业务模型（如分析报告、数据挖掘等）。
  • TPC-DS测试案例对系统IO和CPU计算需求更高。
  • TPC-DS比TPC-H更贴近实际商业需求，能更客观地反映系统性能。

3. 测试结果分析

安全性

• 身份鉴别：所有产品均支持用户身份标识和鉴别功能，但只有达梦和金仓支持复杂度要求。
• 访问控制：达梦和金仓支持特权用户权限分离，神通仅部分支持。
• 安全审计：所有产品均支持审计范围覆盖不同权限用户，但审计内容和记录方式存在差异。
• 可生成安全审计报表：达梦和金仓支持，神通不支持。

兼容性

• 硬件兼容性：达梦、神通、金仓均兼容龙芯、飞腾、申威等国产CPU。
• 软件兼容性：所有产品均兼容中标麒麟、中科方德、普华操作系统。

容错性

• 抵御误操作：所有产品均支持抵御错误数据类型、输入序列和操作序列的误操作。
• 节点失效恢复：达梦和金仓支持双机热备和多副本模式，神通支持主备节点工作模式，但恢复机制略逊一筹。

可扩展性

• 动态添加节点：所有产品均支持动态添加节点，但达梦和金仓需手动配置或使用工具进行数据重新分布，神通支持增量数据平均分布。
• 动态删除节点：达梦和金仓支持动态删除节点，神通不支持。

效率与资源消耗

• 数据加载时间：在不同数据规模下，厂商A和厂商B的数据加载时间表现差异显著，厂商A在300GB、1TB、3TB数据规模下均优于厂商B。
• 查询时间：
  • 厂商A在300GB、1TB、3TB数据规模下均优于厂商B。
  • 在TOP10语句耗时对比中，厂商A的查询时间显著低于厂商B。
• 资源消耗：
  • CPU利用率：厂商A的CPU利用率普遍低于厂商B。
  • 内存使用量：厂商A在300GB、1TB、3TB数据规模下均优于厂商B。
  • 磁盘IO：厂商A的磁盘读写速度显著优于厂商B。
  • 网络传输：厂商A的网络传输速度优于厂商B。

典型SQL查询结果分析

• TPL67查询：
  • 厂商A的查询时间为1256.570秒，CPU利用率为21.861%，内存使用为56887.927MB，磁盘IO为225078.524KB/S，网络传输为77436.601KB/S。
  • 厂商B的查询时间为2235.698秒，CPU利用率为27.715%，内存使用为58469.050MB，磁盘IO为35070.672KB/S，网络传输为33621.478KB/S。
• TPL88查询：
  • 执行时长为531.578秒，平均CPU利用率为85.82%。

行业典型应用场景测试

• 数据加载测试：
  • 原始数据文件大小为1212GB，加载速度为254M/s，压缩比为10.89:1。
• 查询性能测试：
  • 单列条件大结果集精确查询：厂商A执行时间为40.851秒，厂商B为0.267秒。
  • 多列条件小结果集精确查询：厂商A执行时间为0.143秒，厂商B为0.148秒。
  • 单表单/多列MAX/MIN查询：厂商A执行时间分别为0.123秒和0.108秒，厂商B未提供具体数据。
  • 单表带条件COUNT查询：执行时间为0.265秒。
  • IN条件查询：执行时间为0.295秒。
  • 高分组统计查询：厂商A执行时间分别为181.025秒和824.761秒，厂商B未提供具体数据。
  • 低分组统计查询：厂商A执行时间为41.348秒。

4. 测试总结

• 国产MPP数据库在安全性、兼容性、容错性、可扩展性等方面表现良好，但安全性层面仍有提升空间，建议参考GB/T20273-2006标准进行优化。
• 国产MPP数据库具备自主知识产权，能够满足大数据基础软件安全可控的需求。
• 在大规模数据仓库、集市、分析决策系统中，国产MPP数据库已获得实际应用验证，具有良好的效益。
• 在混合模式大数据系统中，国产MPP数据库是优选策略之一。
• 性能优化是未来提升方向，尤其是在查询效率、资源利用率等方面。

后续工作展望

• 行业大数据应用基准测试模型研究
• 大数据平台类产品比对测评
• 服务于行业用户第三方产品与原型系统选型测试
• 大数据分析算法验证测试
• 大数据可视化验证测评
• 大数据行业示范应用系统测评
• 大数据系统安全测评