Zilliz（刘力）_Milvus_百亿级向量数据库的探索_27页_5mb

报告摘要

墨天轮与向量数据库技术总结

核心内容

向量数据库是专为处理高维度向量数据而设计的数据库系统，解决了传统数据库在语义查询和跨模态查询上的不足。Milvus 作为全球首个向量数据库，通过多种索引算法、分布式架构和GPU支持，实现了高效、可扩展的向量检索能力。

主要观点

向量数据库的定义：向量数据库是一种非结构化数据处理的范式，专注于存储和查询高维度向量数据，以提升语义检索的准确性和效率。
应用场景：向量数据库广泛应用于智能推荐、图像检索、语音识别、自然语言处理等需要语义理解的场景。
RAG（Retrieval Augmented Generation）：通过向量检索增强生成式模型的性能，提高准确性、相关性和实时性，同时减少幻觉问题。
Milvus 的设计目标：实现“更多，更快”的查询能力，支持大规模数据、复杂查询、多租户、监控、RBAC 等企业级功能。
索引算法：Milvus 集成多种向量索引算法（如 IVFFlat、SCANN、HNSW 等），并结合 GPU 加速，显著提升了搜索性能。
分布式架构：通过存算分离、微服务化和消息队列支持，实现对百亿级数据的高效处理和管理。
Zilliz Cloud：作为 Milvus 的云服务版本，Zilliz Cloud 提供 Serverless、SaaS 和 BYOC 三种部署模式，支持多种云平台，提供企业级功能和性能优化。
Cardinal 索引：Zilliz 自研的 Cardinal 索引在性能上达到 Milvus 的 5-10 倍，支持 Dense 和 Sparse 向量检索，并在多个基准测试中表现优异。
新场景与挑战：随着 RAG、Agent、多模态等新场景的发展，向量数据库需要应对更复杂的查询需求、更高的性能要求以及海量数据处理的成本问题。
多模态支持：支持跨模态查询和多种模态的叠加检索，通过 embedding-space arithmetic 实现多模态数据的统一处理。

关键信息

向量索引算法对比

算法	构建时间	QPS
Flat	~0	~20
IVFFlat	~70s	~420
SCANN	~76s	~4.2k
HNSW	~400s	~10K

GPU 加速性能提升

T4 GPU：
- Batch Size = 1：CAGRA 比 HNSW 快 6.7 倍
- Batch Size = 10：CAGRA 比 HNSW 快 18.7 倍
- Batch Size = 100：CAGRA 比 HNSW 快 23.3 倍
A10G GPU：
- Batch Size = 1：CAGRA 比 HNSW 快 9 倍
- Batch Size = 10：CAGRA 比 HNSW 快 29.9 倍
- Batch Size = 100：CAGRA 比 HNSW 快 49.2 倍

分布式架构优势

存算分离：提升可扩展性、资源利用效率和隔离性。
微服务化 + K8s：支持自动化部署和扩展。
消息队列：解耦组件，提升故障恢复能力。
流批一体：支持批量导入、向量 ETL 和全局优化。

新功能与能力

Range Search：支持更丰富的搜索语义，避免返回无关结果。
Sparse Vector：提升搜索质量，支持多种检索方式。
Hybrid Search：结合 Dense 和 Scalar 查询，支持更复杂的检索需求。
Groupby：支持向量化数据库的语义查询，如按名称分组检索图像。
Autoindex：基于数据分布的自动参数调优，提升搜索性能。

Zilliz Cloud 介绍

Zilliz Cloud 是基于 Milvus 的全托管向量检索服务，提供 Serverless、SaaS 和 BYOC 三种版本。
Zilliz Cloud Pipeline 是一站式文本知识库系统，支持多种开源模型。
Cardinal 索引：自研索引算法，显著提升搜索性能，支持 Dense 和 Sparse 向量检索。

未来挑战

大规模离线分析：需要支持海量数据的高效召回和复杂语义分析。
多模态查询：支持跨模态和多模态叠加查询，提升数据处理的灵活性和多样性。
成本与性能平衡：在处理海量数据时，如何优化成本并保持高性能成为关键挑战。

总结

Milvus 作为领先的向量数据库，通过创新的索引算法、分布式架构和 GPU 支持，实现了高效的向量检索能力。Zilliz Cloud 的推出进一步推动了向量数据库在企业级应用中的普及。随着 RAG、Agent 和多模态等新场景的发展，向量数据库将在更多领域发挥重要作用，同时面临性能、扩展性和成本等方面的挑战。

展开完整摘要