高超：⾯向⽣成式AI的向量数据库：架构，性能与未来趋势-36页_9mb

面向生成式AI的向量数据库：架构、性能与未来趋势

一、向量数据库相关背景和基础

1. 什么是向量数据与检索
向量数据特指高维向量形式的数据。向量检索的核心任务是从数百万甚至数十亿的向量集合中，找出与查询向量最接近的 TopK 向量。计算距离的方法取决于所使用的度量标准，如 L2、IP 和 Cosine 等。

2. 为什么需要向量数据库
向量数据库主要为以下应用提供支持：

• AI 应用场景：如推荐系统、搜索服务、风控、安防。
• RetrievalAugmented Generation（RAG）应用：作为知识记忆体为大语言模型提供支持，提升回答质量和相关性。
  一个优秀的向量数据库需要具备以下特性：性能、可扩展性、易用性、可观测性/高可用性、运维能力、生态集成和故障恢复能力。

二、Milvus整体架构设计

Milvus 是一款云原生分布式向量数据库，主要由四个组件构成：

• Proxy：用于请求处理和路由。
• Query：管理数据和索引加载，处理查询。
• Data：负责数据处理，支持流转。
• Index：用于索引构建加速检索。

其设计特点包括：

• 强隔离性：索引构建不会影响查询能力。
• 可扩展性：支持支持百亿级向量数据。
• 支持流式数据：具备高效的增量更新和删除能力。

Milvus 在查询方面采用了 Segment 片段划分：

• Growing Segment：用于处理实时数据，但性能相对较低。
• Sealed Segment：经过索引处理，查询性能更高。
• 索引节点用于加速查询。

异步Compaction功能将小Segment合并，提升查询效率；批量导入功能支持直接导入文件且不依赖消息队列；还支持全局索引技术，实现分布式索引建立。

云服务平台 ZillizCloud
ZillizCloud 基于Milvus开发的企业托管云服务，支持Serverless、SaaS和自托管三种部署方式，广泛部署于AWS、GCP、Azure、阿里云、腾讯云等平台。

三、性能优化核心：索引技术

索引是向量数据库决策查询性能的核心。目前常见的向量索引分类与特点：

底层索引引擎 Knowhere 提供了引擎集成能力，能够灵活选用不同索引方式，如：

• FLAT暴搜：最高精度但效率低
• IVF：通过聚类将查询空间缩小，大幅减少计算量
• Product Quantization (PQ)：压缩存储、查表式检索
• HNSW：当前最广泛使用的近似最近邻搜索算法

索引选择需在成本、准确率与性能之间平衡。ZillizCloud最新版本 Cardinal 引擎进一步提升了索引效率，降低 Latency，增加适应性。

四、面向生成式AI的进化

向量数据库正逐步与AI能力和信息处理融合：

• Filter Search：支持标量过滤条件，提升多条件查询效率。
• Sparse Vector：与Dense Vector相比更强调关键词匹配，增加可解释性，特别适合Out-of-domain场景。
• Hybrid Search：支持多种模式数据融合检索，提供更全面的信息。
• Grouping Search：实现对信息的聚合处理，满足更复杂的查询需求。
• Easier Usage：真正理解业务需求，不一定依赖大量向量数据，倾向于与第三方非结构化分析模型对接。

五、结论

面向生成式AI的向量数据库不仅在存储结构上进化，更在AI集成、性能优化、索引精度等方面不断突破，同时提供更灵活易用的技术架构，满足多样化的AI业务场景需求。未来，随着AI模型演进，向量数据库将与AI技术更深度耦合，成为支持复杂语义交互的关键基础设施。