注册
达梦数据库向量数据使用实战经验分享
技术分享/ 文章详情 /

达梦数据库向量数据使用实战经验分享

DM_257982 2026/11/12 166 0 0

达梦数据库实战经验分享:向量使用相关

最近在工作中涉及到论坛帖子的搜索功能,需要通过一个搜索框对论坛的所有帖子的标题、内容进行检索,快速找到想要的帖子。常规的做法是对标题做like查询,对内容做全文检索查询。但是这样做存在以下问题:
字面不一致就搜不到。搜“导入数据太慢了”,标题写“批量导入性能下降”,没有重叠的关键字,LIKE 必然落空。发帖与搜索的措辞往往不同,这类输入占相当比例。
这时候就需要利用向量检索了


一、短词什么都搜不到

一、为什么要做向量检索
向量检索能够召回表述不同但意思相近的结果。
DM8 原生支持 VECTOR 类型,一条 SQL 就能做语义检索,不必单独部署向量服务。把标题和正文拼成一段文本编成 1024 维向量,查询时同样编码,按相似度排序——表述不同但意思相近的能召回,比较的是距离而非文本扫描。
语义召回的效果可以量化。用同义改写去查两条不相干的帖子:
QQ20261111170912.png
两行都超过 60%相似度,但是纯 LIKE 全部零命中,这是向量检索真正的价值。但是存在一个问题:短词可能什么都搜不到。

二、短词为什么没有结果

向量模型把整段文本压成一个高维向量,文本越短携带的信息越少,位置越不确定。“数据库”三个字编码出的向量,和“达梦数据库迁移能力优化”这种完整标题的向量可能隔得相当远。

fig2shortkeyword.png

图 1 短词与长句的语义信息密度对比(原理示意,非实测数值)

这不是模型质量问题。短文本本身可用语义有限,更换 embedding 模型同样无法改善。

调低阈值无效。阈值降到能召回短词的程度,不相干的结果会同时涌入,排序失去区分度。

三、补一条字面通道

语义通道兜不住短词,就在旁边再开一条只认字面的通道,各查各的,最后合并。QQ20261111171158.png
图 2 两通道召回:向量负责语义,标题字面负责短词兜底

通道 A 是向量检索,主路径,分数取 1 减去余弦距离,再按阈值过滤。通道 B 是标题中缀匹配,SQL 里就是 A.YWBT LIKE ‘%kw%’ ESCAPE ‘’,命中即收录,不做阈值裁剪。
合并用 LinkedHashSet:向量命中按相似度排在前,字面命中追加在后,同一帖子只留一条,再交给列表按 ID 过滤、分页、排序。两条互补——搜“数据库”这种短词,向量通道多半没结果,标题含这三个字的由通道 B 全部捞出;搜一整句描述,通道 B 命中很少,靠向量找出表述不同而语义相近的。

四、能做到多大规模

测试表结构:正文 CLOB 加 1024 维向量列,每档取多次执行的中位数。五档全部为实测值,测试向量按真实 embedding 的分布构造。
QQ20261111171421.png

无索引时中缀 LIKE 随行数缓慢线性增长,百万行仍不到两百毫秒。向量全表扫描则不同:五十万行之前只是它的八九倍,到一百万行突然变成一分半,比五十万行慢了一百多倍。数据量远超缓冲池后随机读彻底落盘,这就是不建索引的可用边界。
建成索引后,向量通道基本不随数据量变化,一万行到一百万行都停在个位数到二三十毫秒,加速比一路放大到三千倍。建索引本身接近线性,每万行七到九秒,成本可预期。

五、小结

两通道检索的成本较低,用标题中缀匹配补上短词短板,同时保留向量在同义搜索上的优势。适合的场合:检索和业务同库、数据量百万级。这个范围内检索稳定在几十毫秒,再往上到千万级,没有实测支撑;数据量达到千万级时,建议实测后决定是否采用该方案。

评论
后发表回复

作者

文章

阅读量

获赞

扫一扫
联系客服