2017-大数据MPP产品测评指标研究与横向测评_49页-9mb

大数据MPP数据库测试总结

核心内容概述

本报告由中国软件评测中心的周润松撰写，发布于2016年08月02日，主要围绕大数据产品MPP数据库的测试背景、测试指标体系、测试结果分析以及后续测评工作展开。报告重点评估了MPP数据库在安全性、兼容性、容错性、可扩展性、效率（包括数据加载与查询时间）等方面的性能表现，并提出后续测评工作的方向。

主要观点与关键信息

1. 测试背景

• MPP数据库作为大数据处理的重要组成部分，具备高扩展性、高可用性和支持ACID特性等优势，广泛应用于大规模数据仓库、集市及分析决策系统。
• 测试背景涵盖大数据产业全景图、MPP数据库在产业中的地位以及其特色功能，强调其在数据处理和分析方面的强大能力。

2. 测试指标体系

• 测试体系包括非功能测试指标、效率基准（如TPC-C、TPC-E、TPC-H、TPC-DS、TPC-DI）等。
• TPC-DS相比TPC-H，具有更复杂的业务模型和更高的IO负载与CPU计算需求，更贴近实际应用环境。

3. 测试结果分析

安全性

• 所有三款国产MPP数据库（达梦、神通、金仓）均具备身份鉴别功能。
• 达梦和金仓支持复杂密码策略，而神通未实现。
• 身份登录次数限制和超时自动退出功能方面，达梦和金仓表现较好，神通仅部分支持。
• 权限管理方面，达梦和金仓支持特权用户权限分离，神通未实现。
• 安全审计方面，达梦和金仓支持审计范围覆盖不同权限用户，但神通未实现。
• 审计记录方面，达梦和金仓支持记录日期、时间、主体、客体、结果，而神通仅记录系统命令（不包含select）。
• 生成安全审计报表功能方面，达梦和金仓支持，而神通未实现。

兼容性

• 所有三款数据库均支持龙芯、飞腾、申威CPU以及中标麒麟、中科方德、普华操作系统。
• 硬件兼容性和软件兼容性均表现良好。

容错性

• 所有三款数据库均具备抵御误操作的能力。
• 节点失效恢复方面，达梦和金仓支持双机热备或多副本模式，而神通仅支持主备节点模式。
• 动态添加/删除节点方面，达梦支持动态添加节点，但需手工配置或工具重新分布数据；神通支持动态添加节点，但不支持动态删除；金仓支持动态添加和删除节点，但需工具重新分布数据。

效率与资源消耗

• 数据加载时间：在300GB、1TB、3TB规模下，三款数据库的加载速度差异不大，但达梦在300GB数据下表现最佳。
• 查询性能：在300GB数据下，达梦的查询时间显著优于神通，特别是在复杂查询（如TPL67）中。
• 资源消耗：
  • CPU利用率：达梦在300GB、1TB、3TB数据下均表现优于神通。
  • 内存使用：达梦在300GB、1TB、3TB数据下均低于神通。
  • 磁盘IO：达梦在300GB数据下磁盘读写速度显著高于神通。
  • 网络传输：达梦在300GB数据下网络传输速度高于神通。

典型SQL查询分析

• TPL67查询：达梦的查询时间（1256.570秒）显著优于神通（2235.698秒）。

• CPU利用率：达梦平均为21.86%，神通为27.715%。

• 内存消耗：达梦为56887.927MB，神通为58469.050MB。

• 磁盘IO：达梦为225078.524KB/S，神通为35070.672KB/S。

• 网络传输：达梦为77436.601KB/S，神通为33621.478KB/S。

• TPL88查询：达梦执行时长为531.578秒，平均CPU利用率为85.82%。

行业典型应用场景测试

• 测试数据为某运营商A省一个月的详单数据，约1TB，包含101个字段。
• 单列条件大结果集精确查询：达梦执行时间较短（40.851秒）。
• 多列条件小结果集精确查询：达梦和神通执行时间均在0.1秒以内。
• 单表单/多列MAX/MIN查询：达梦执行时间较短（0.123秒和0.108秒）。
• 单表带条件COUNT查询：达梦执行时间较短（0.265秒）。
• IN条件查询：达梦执行时间较短（0.295秒）。
• 高分组统计查询：达梦执行时间较长（181.025秒和824.761秒），但神通执行时间更长。

关键结论

1. 安全性：国产MPP数据库在安全性方面仍有提升空间，建议参照**GB/T20273-2006《数据库管理系统安全基本要求》**进行优化。
2. 兼容性：所有数据库均支持国产主流芯片和操作系统，具备良好的自主可控性。
3. 容错性：所有数据库均具备抵御误操作能力，但容错机制和节点管理方面存在差异。
4. 可扩展性：达梦和金仓在动态添加和删除节点方面表现更优，但均需工具或手动配置进行数据重新分布。
5. 性能表现：达梦在查询效率、资源利用率等方面表现优于神通，特别是在大规模数据处理场景中。
6. 优化建议：国产MPP数据库在性能优化、资源管理和安全机制上仍有进一步提升的空间。

后续工作展望

1. 行业大数据应用基准测试模型研究
2. 大数据平台类产品比对测评
3. 服务于行业用户第三方产品与原型系统选型测试
4. 大数据分析算法验证测试
5. 大数据可视化验证测评
6. 大数据行业示范应用系统测评
7. 大数据系统安全测评

附件与图表说明

• 测试背景：包含大数据产业全景图、MPP数据库的地位与特色。
• 测试指标体系：包括非功能测试、效率基准等。
• 测试结果：涵盖安全性、兼容性、容错性、可扩展性、效率、资源消耗、典型SQL查询等。
• 行业典型应用场景测试：基于某运营商详单数据，评估不同SQL模式下的执行效率。
• 后续工作：提出七项未来测评方向，以推动大数据产品的进一步发展和应用。

总结

本报告系统地评估了国产MPP数据库在安全性、兼容性、容错性、可扩展性、效率等方面的性能表现，揭示了各数据库在不同场景下的优劣势。总体来看，国产MPP数据库在大数据处理方面具备一定优势，但在安全性、性能优化和资源管理上仍有提升空间。未来应加强基准测试模型研究、平台类产品比对测评、安全测评等方向，以更好地服务于行业用户和大数据应用。