bing 网站管理员2023今日新闻头条

1. 背景概述

在大规模数据处理和向量相似性搜索场景中，内存索引的使用显著提升了查询速度和效率。Milvus 提供了多种内存索引类型，以满足不同场景下的性能需求。本文将介绍 Milvus 支持的各种内存索引类型及其适用场景、配置参数和使用方法。

2. 为什么选择内存索引？

内存索引可以有效组织数据，从而提升查询性能。在 Milvus 中，每个向量字段（Field）可以选择一种适合的索引类型，以优化特定查询的速度。Milvus 支持的索引类型主要基于近似最近邻搜索（ANNS）算法，通过允许一定精度的牺牲来实现快速搜索，从而加速大规模数据集上的查询。

3. Milvus 支持的索引类型概览及其使用

Milvus 支持多种索引类型，不同索引在性能、精确度和内存需求方面有所不同。以下内容展示每种索引的使用场景、配置参数及示例代码。

1. FLAT 索引

• 适用场景：数据集较小且对搜索精度要求极高。
• 特点：进行穷举搜索，不对数据进行压缩，保证 100% 的召回率和精确性。
• 配置与使用：无需配置额外参数，直接创建即可。

# 配置索引参数
index_params = {"metric_type": "L2", "index_type": "FLAT"}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)

2. IVF_FLAT 索引

• 适用场景：需要较高的召回率和快速查询的场景。
• 特点：将向量数据划分为多个聚类单元，通过调节 nprobe 在召回率与查询速度之间找到平衡。
• 配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "IVF_FLAT","params": {"nlist": 128}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 配置搜索参数
search_params = {"params": {"nprobe": 16}
}
results = collection.search(data=query_vectors, anns_field="embedding", param=search_params, limit=top_K)

3. IVF_SQ8 索引

• 适用场景：内存资源有限，允许轻微的召回率下降。
• 特点：标量量化（SQ）将每个浮点数（4 字节）压缩为 1 字节，减少内存占用。
• 配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "IVF_SQ8","params": {"nlist": 128}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 配置搜索参数
search_params = {"params": {"nprobe": 8}
}
results = collection.search(data=query_vectors, anns_field="embedding", param=search_params, limit=top_K)

4. IVF_PQ 索引

• 适用场景：内存资源有限，允许较大召回率下降，适合极高速查询。
• 特点：结合 IVF 和 PQ（乘积量化），进一步压缩数据存储需求。
• 配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "IVF_PQ","params": {"nlist": 128,"m": 4,  # 量化因子数"nbits": 8}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 配置搜索参数
search_params = {"params": {"nprobe": 8}
}
results = collection.search(data=query_vectors, anns_field="embedding", param=search_params, limit=top_K)

5. SCANN 索引

• 适用场景：高精度、高查询速率的场景，适合内存资源较为充足的场景。
• 特点：与 IVF_PQ 类似，但利用 SIMD 提升计算效率。
• 配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "SCANN","params": {"nlist": 128,"reorder_k": 64}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 执行搜索
results = collection.search(data=query_vectors, anns_field="embedding", limit=top_K)

6. HNSW 索引

• 适用场景：高精度和快速查询，适合内存资源充足的场景。
• 特点：HNSW 使用多层结构的导航小世界图（NSW）进行搜索。
• 配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "HNSW","params": {"M": 16,"efConstruction": 200}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 配置搜索参数
search_params = {"params": {"ef": 64}
}
results = collection.search(data=query_vectors, anns_field="embedding", param=search_params, limit=top_K)

4. 索引的配置与选择

在选择索引时，需要综合考虑数据规模、查询速度需求、硬件资源等因素。以下是对常用索引的总结：

索引类型	适用场景	精确度	查询速度	内存需求
FLAT	小数据集，需 100% 召回	高	慢	高
IVF_FLAT	大数据集，需较高召回	中	快	中
IVF_SQ8	内存有限，可接受轻微精度损失	中	快	低
IVF_PQ	内存有限，可接受较大精度损失	低	极快	极低
SCANN	高精度，内存充足	高	极快	高
HNSW	高精度，内存充足	高	极快	高

5. 结语

内存索引在 Milvus 中起到优化查询性能的关键作用。通过合理选择和配置索引类型，可以在精确度和查询速度之间找到平衡，以满足不同的业务需求。希望本文的内容能够帮助您在大规模数据处理中实现更高效的向量相似性搜索。