DISKANN

1.介绍

随着推荐系统、图像识别、自然语言处理等AI应用的普及，传统数据库难以应对海量高维向量的实时相似性搜索挑战。DiskANN作为一种基于磁盘的近似最近邻搜做技术，能够有效降低内存消耗，同时保持较高的查询性能，满足企业对大规模向量数据的搞笑管理需求。

支持与限制：
DISKANN暂时仅支持vector数据类型，在其他向量数据类型会导致执行失败。
DISKANN暂时仅兼容A\B\C\PG库。
DISKANN支持普通行存表，临时表，Toast表，Unlogged，段页式表等的向量数据存储。
DISKANN支持PQ量化压缩及并行构建。

DiakANN索引是一种高效地大规模向量近似最近邻搜索方案，采用Vamana算法，其核心目标是在单机上处理大规模数据，同时保持高召回率、低查询延迟和低内存占用，实现原理如下：

基于图的索引结构(Vamana算法)
Vamana图索引相比于传统图算法（如HNSW、NSG），Vamana通过动态调整参数α（α≥1）优化图的构建，使其在保持高召回率的同时减少搜索路径长度。
混合存储架构
内存：存储压缩后的向量（如PQ量化编码）和图索引的元数据，用于快速筛选候选集。
SSD：存储完整的原始向量和详细的图结构，确保高精度距离计算。

DiskANN的检索过程主要基于构建好的索引图结构，通过贪心搜索策略从入口点开始，逐步向目标向量靠近，核心流程如下：

在关闭PQ场景下，DiskANN索引会默认使用精确距离计算。

openGauss=# CREATE INDEX [INDEX_NAME]
ON [TABLE_NAME]
USING diskann (COLUMN_NAME [TYPE]_[DISTANCE_FUN]_ops) ;
with (index_size = 100);

在开启PQ场景下，DiskANN索引会使用PQ距离计算，最终再通过精确距离计算进行精排，在使用PQ之前需要先加载动态库。

openGauss=# CREATE INDEX [INDEX_NAME]
ON [TABLE_NAME]
USING diskann (COLUMN_NAME [TYPE]_[DISTANCE_FUN]_ops) ;
with (enable_pq = on, pq_m = 8);

示例： 使用带残差的L2距离计算创建DISKANN索引。

openGauss=# CREATE INDEX ON items USING diskann (embedding vector_l2_ops) WITH (index_size = 100, enable_pq = on, pq_m = 8);

通过开启并行构建功能来加速向量索引的创建：

ALTER TABLE [TABLE_NAME]
SET (parallel_workers = <CONCURRENCY_NUM>);

示例： 构建索引并行数设置为8。

openGauss=# ALTER TABLE items SET (parallel_workers = 8);

openGauss=# SET diskann_probes = 64;

openGauss=# SET enable_seqscan = off;

openGauss=# SELECT * FROM [TABLE_NAME] ORDER BY [COLUMN_NAME] [operator] [VALUE];

openGauss=# SELECT * FROM items ORDER BY embedding <-> '[1,2,3,4]';