2024-06-11-Alluxio-2024对云上分析SQL引擎进行I_O优化的成本效益白皮书_18页_4mb

白皮书摘要：云上分析SQL引擎的I/O优化成本效益

背景

本文探讨将数据密集型分析应用从本地迁移到云原生环境所带来的挑战，特别是I/O优化对成本的影响。

核心发现

• 在Cloud环境中，数据访问成本与本地模型不同：与API调用数量和数据传输相关，而非仅与数据大小相关。
• 传统I/O优化（如Table Scan/Filter、Broadcast Join）在云上可能增加API使用量，进而导致意外的高成本。

案例分析

基于Uber生产环境Presto查询记录的分析显示：

• 大规模数据下，优化虽提高查询效率，但也可能显著增加存储API调用次数，形成成本隐患。
• 实践中，单集群每天可达数十亿次API调用，仅存储访问成本可能惊人。

优化建议

1. 改进存储策略：根据访问频率使用不同存储层级（热存储、冷存储），提高存储资源效率。
2. 建设虚拟存储层：引入带缓存的中间层，减少冗余访问，降低成本。
3. 重新设计应用：以云原生方式架构数据密集型应用，避开传统模式与云存储间的冲突。

结论

云环境中成本模型需要新的关注维度，成功迁移依赖定制化的I/O优化策略和充分的成本意识设计。

延伸阅读

4. 数据湖表格式（如Delta Lake、Iceberg）需考虑其对云成本的影响。
5. 实时性能与成本之间的平衡至关重要，Alluxio平台等技术提供统一访问和降低成本的解法。

关于白皮书

本研究由北京开元维度科技有限公司完成，扫描二维码可关注后获取Alluxio平台更多内容。