信息检索：从文本、索引到可解释的相关性排序

当一张表有明确字段时，我们可以用等值、范围和连接条件精确描述答案。文本却不一样：同一个意思可能有多种写法，用户通常只输入几个词，而且符合条件的文档往往成千上万。检索系统因此要同时回答两个问题：哪些文档可能有用，以及哪些文档应该排在前面。

这篇内容从一条文档进入系统开始，依次拆开文本处理、倒排索引、查询执行、相关性评分、质量评估和权限过滤。你会看到，搜索并不是对全文逐篇扫描，也不是只靠一个“智能模型”直接给答案；它是一条由多个可检查环节组成的工程链路。

---

先把检索任务说清楚

信息检索主要处理没有固定字段结构的文本。一个网页、一封邮件、一份技术文档，甚至数据库中一个长文本字段，都可以视为一篇文档。用户提交若干词项后，系统从文档集合中找出候选项，再按估计相关性降序返回少量结果。

这与精确查询有一个根本差别。执行 WHERE order_id = 42 时，记录要么满足条件，要么不满足；搜索“数据库故障恢复”时，一篇只出现“日志重做”的文章也可能有用。检索结果因此通常是一个排序列表，而不是无序的真值集合。

完整链路可以分成离线与在线两部分。离线阶段采集文档、清洗文本并构建索引；在线阶段理解查询、读取倒排表、召回候选、计算相关性、执行权限过滤，最后展示前 $k$ 个结果。索引把大量预计算工作提前完成，在线请求才不必扫描每篇原文。

1

为什么大规模文本检索通常先构建索引，而不是在每次查询时扫描全部原文？

A索引可以保证每个查询只有一个答案B索引把词项到文档的对应关系预先组织好，在线查询只读取相关倒排表C索引会自动理解所有用户意图D索引能让所有文档获得相同分数

---

把原始文本变成稳定词项

索引的最小单位不是屏幕上看到的字符，而是经过处理后的词项。同一套处理必须同时用于文档和查询，否则文档里的“Database”和查询里的“database”可能落入两个不同词项，明明相关却无法相遇。

典型处理管线包括下面几步：

1. 解析文档边界与字段。 系统先识别标题、正文、发布者、标签等区域。字段位置会影响后续权重，标题命中通常比正文深处的一次命中更有信息量。
2. 分词与切分。 英文可以按空格和标点形成初始记号；中文没有天然空格，需要把连续字符切成词，或使用字、词、子词的组合。分词方案改变，词典和倒排表都会跟着变化。
3. 规范化。 常见操作包括大小写折叠、全半角统一、Unicode 规范化和可控的标点处理。规范化的目标是合并不影响语义的表面差异。
4. 停用词策略。 极高频而区分能力很弱的词可以不进入一般关键词索引，但不能机械删除。短语“to be or not to be”、法规原文和代码检索都可能依赖这些词及其位置。
5. 词形归一。 对具有丰富词形变化的语言，可以做词干提取或词形还原。归并过强会把原本不同的概念混在一起，因此通常保留原词项并记录归一化词项。
6. 记录位置和偏移。 文档编号告诉我们“在哪篇”，位置告诉我们“在第几个词”，字符偏移则支持结果高亮和摘要截取。

以“数据库系统支持数据库管理”为例，若从 1 开始编号，词项“数据库”可能对应位置 $[1,4]$，“系统”对应位置 $[2]$。只记录词频可以做粗粒度排序；保留位置后，系统还能判断“数据库 系统”是否相邻出现。

2

为了让短语查询和结果高亮可执行，文档处理阶段通常应保留哪些信息？

A词项在文档中的位置B词项对应的字符偏移C所有文档使用同一个固定相关性分数D文档编号

检查

---

倒排索引如何缩小搜索范围

正排表示从文档出发列出其中的词项，倒排索引则反过来：从词项出发，列出包含它的文档。词典负责把词项映射到倒排表；倒排表通常按文档编号排序，每个文档项还可以保存词频、位置、字段和其他统计量。

设“数据库”的倒排表是 $[1,3,8,12]$，“系统”的倒排表是 $[1,2,8,15]$。查询要求两个词都出现时，只需并行扫描两个有序列表，得到交集 $[1,8]$。复杂度与参与合并的列表长度有关，而不是与全部文档数直接相等。

倒排项可以写成如下逻辑结构：

词典可能放在内存中的哈希表或搜索树里，较长的倒排表则顺序存储。对高频词，列表会很长；对稀有词，列表很短。执行多词 AND 查询时，先从最短列表开始求交，通常能更早缩小候选集合。

3

两个词项的倒排表都按文档编号排序时，AND 查询可以通过并行扫描列表完成求交，而不必访问不含这些词项的全部文档。

正确错误

---

布尔、短语与邻近查询

布尔查询把倒排表当作集合：AND 对应交集，OR 对应并集，NOT 对应相对于允许文档全集的差集。实际系统还会支持“至少命中 $m$ 个词”、字段限定和括号优先级。这里的关键是先定义清楚语义，再选择合并算法。

短语查询需要位置索引。查询“数据库 系统”时，系统先找同时包含两个词的文档，再检查是否存在位置 $p$，使“数据库”出现在 $p$、“系统”出现在 $p+1$。若查询允许两个词之间最多隔三个词，位置条件可以放宽为距离不超过指定窗口。

下面的实验包含三篇小文档。你可以改变查询词和合并方式，观察倒排表如何生成候选；打开“要求相邻”后，系统会继续用位置判断短语。

4

查询短语“数据库 系统”时，已经得到同时包含两个词的候选文档后，还需要检查什么？

A两个词的全局文档频率必须相等B数据库的出现位置之后紧接着系统的出现位置C两篇文档的长度必须相同D两个词必须拥有相同词频

---

TF-IDF 给词项分配区分度

候选文档可能很多，我们需要估计一篇文档与查询的相关程度。最直接的信号是词项在文档中出现的次数，但原始次数容易偏向长文档，而且从 1 次增加到 2 次带来的信息，通常大于从 50 次增加到 51 次。

一种带长度归一和对数衰减的词频写法是：

$$\operatorname{TF}(d,t)=\log\left(1+\frac{n(d,t)}{n(d)}\right)$$

其中 $n(d,t)$ 是词项 $t$ 在文档 $d$ 中出现的次数，$n(d)$ 是文档中的词项总数。不同系统会选择不同的 TF 变体，但目标一致：增加出现次数应提高权重，同时不能让长文档凭长度占尽优势。

只看 TF 仍然不够。“系统”可能出现在几乎所有技术文档中，“两阶段锁”只出现在少数文档里。后者更能区分主题。逆文档频率用包含词项的文档数 $df(t)$ 衡量这种稀有度。工程中常见的平滑形式是：

$$\operatorname{IDF}(t)=\log\left(\frac{N+1}{df(t)+1}\right)+1$$

$N$ 是文档总数。词项出现在越多文档中，IDF 越小。最终词项权重可以取 TF 与 IDF 的乘积，多词查询则组合各词项贡献：

$$\operatorname{score}(d,Q)=\sum_{t\in Q} w_q(t)\operatorname{TF}(d,t)\operatorname{IDF}(t)$$

$w_q(t)$ 允许查询侧表达不同词的重要程度。字段权重也可以进入计算，例如标题中的一次命中乘以高于正文的系数。停用词的 IDF 接近最低值，往往没有区分能力，因此可以从普通关键词索引中省略；但短语检索仍需谨慎处理。

5

在其他条件相同的情况下，一个词项出现在文档集合中的文档数越多，它的逆文档频率通常越 ____。

检查

---

向量空间与余弦相似度

把词典中的每个词项看成一个维度，一篇文档就可以表示为 TF-IDF 权重向量，查询也可以用同样方式表示。两个向量越接近，说明它们在高权重词项上的分布越相似。

余弦相似度用向量夹角衡量方向的一致程度：

$$\cos(\mathbf q,\mathbf d)=\frac{\mathbf q\cdot\mathbf d}{\lVert\mathbf q\rVert_2\lVert\mathbf d\rVert_2}$$

分母对向量长度做归一化，因此长文档不会仅因包含更多词就必然得高分。若权重均非负，结果通常在 0 到 1 之间；越接近 1，方向越相似。余弦相似度并不理解事实真伪，它只度量当前特征空间中的接近程度。

下面的实验使用四篇固定长度和词频的文档。勾选查询词后，程序按平滑 IDF、对数 TF 和余弦相似度重新排序。观察稀有词如何改变名次。

6

余弦相似度通过向量长度归一化，可以减弱文档仅因更长、包含更多词而获得更高分的问题。

正确错误

---

相关性排序不只看一个分数

TF-IDF 是清楚、可解释的基础，但真实排序通常会组合多种信号。词项是否命中标题、多个查询词是否靠近、文档是否新鲜、页面是否被高质量页面链接、用户是否经常在类似查询下选择该结果，都可能提供额外信息。

链接信号提供与当前查询相对独立的静态重要性。一个页面被许多重要页面指向，通常比只被少量低质量页面指向更有权威性。迭代式链接评分可写成：

$$P[j]=\frac{\delta}{N}+(1-\delta)\sum_{i=1}^{N}T[i,j]P[i]$$

$T[i,j]$ 是从页面 $i$ 沿链接走到页面 $j$ 的概率，$\delta$ 是随机跳转概率。这个分数与具体查询无关，因此不能单独代替内容相关性；常见做法是把它与词项得分、锚文本、点击或质量信号组合。

排序还要注意两个边界。第一，行为信号可能带来位置偏差：排在前面的结果天然更容易被点击，不能把点击直接当作绝对相关。第二，权限不是相关性特征。没有权限的文档即使分数最高也必须被过滤，而不是“扣一点分后仍可能返回”。

大多数用户只看前几项，系统通常直接维护一个大小为 $k$ 的候选堆，或使用分块上界跳过不可能进入前 $k$ 的文档。这样可以得到 Top-k，而不必给全部候选完成精确排序。

7

下列哪些信号可以用于估计文档对查询的相关性或总体权威性？

A标题中的词项命中B查询词在文档中的邻近程度C链接结构产生的静态权威分数D用户无权访问该文档这一事实应当作为少量扣分

检查

---

拼写纠错与模糊查询

用户输入可能有错别字、漏字、同音替换或键盘邻键错误。严格按词项查找时，一个不存在于词典中的词会得到空倒排表。纠错模块通常先生成少量候选词，再结合词典频率和上下文给候选排序。

编辑距离把一个字符串变成另一个字符串所需的插入、删除和替换次数作为差异度量。例如，把“数椐库”改成“数据库”只需一次替换。为了避免对整个词典逐词计算，可以使用前缀树、删除词典、字符 n-gram 或 BK 树缩小候选范围。

候选生成之后，还要判断“该不该改”。一个低频专业词可能是正确输入，热门词也未必符合当前语境。稳妥的策略是综合：

• 编辑代价，距离越小越可信；
• 词项先验频率，常见正确词更可能被输入；
• 上下文概率，候选与相邻词组合是否自然；
• 业务词典，产品名、人名和专业缩写是否需要保护；
• 用户交互，高置信度时自动纠正，低置信度时展示“你是不是要找”。

模糊查询与自动纠错也应有边界。前缀、通配符或编辑距离放得过宽，会迅速扩大候选词和倒排表数量，既降低精度，也增加延迟。因此系统通常限制最大编辑距离、候选数和允许展开的词项数。

8

为什么拼写纠错不能只选择编辑距离最小的词？

A编辑距离无法处理任何中文字符B多个候选可能距离相同，且专业词、词频和上下文会影响真正意图C编辑距离越小，索引一定越大D纠错只适用于结构化数值字段

---

用查准率、查全率和排序指标评估

检索质量不能只看返回了多少结果。设检出的相关文档数为 $TP$，检出的不相关文档数为 $FP$，漏掉的相关文档数为 $FN$。查准率和查全率分别是：

$$\operatorname{Precision}=\frac{TP}{TP+FP}$$ $$\operatorname{Recall}=\frac{TP}{TP+FN}$$

查准率回答“返回的结果中有多少真的相关”，查全率回答“所有相关文档中找回了多少”。提高判定阈值常会减少误报、提高查准率，却也可能漏掉边缘相关文档、降低查全率。二者的调和平均是：

$$F_1=\frac{2PR}{P+R}$$

搜索结果有顺序，所以还要看相关文档出现得是否足够早。Precision@$K$ 和 Recall@$K$ 只评估前 $K$ 个结果。平均准确率 AP 在每个相关结果出现的位置计算 Precision@$k$，再对这些值求平均；MAP 是多个查询 AP 的平均。若相关性有“高度相关、部分相关、不相关”等等级，NDCG 会按位置折损收益，并用理想排序归一化，更适合分级标注。

评估必须先定义标注集合与查询集合。只用系统已经找回的结果做标注，会看不见真正的漏检项；只测试热门查询，也无法反映长尾输入。离线指标适合稳定比较版本，上线后还要结合延迟、零结果率和经过偏差校正的交互信号。

下面拖动阈值，观察同一组带相关性标注的文档如何在查准率和查全率之间移动。

9

关于检索评估，下列说法哪些正确？

A查准率关心已检出结果中相关文档的比例B查全率关心全部相关文档中被检出的比例CNDCG 可以处理分级相关性并考虑结果位置D只标注系统已经返回的结果就能准确计算全部漏检

检查

---

索引更新、压缩与权限过滤

文档持续新增和修改时，不能每来一篇就重写整个大索引。常见做法是在内存中维护一个小的可变段，达到阈值后刷成不可变磁盘段；查询同时读取多个段，后台再把小段合并成大段。删除可以先写删除标记，在段合并时真正回收空间。

倒排表里的文档编号递增，可以存相邻编号之差。例如 $[100,105,106,130]$ 转成差值 $[100,5,1,24]$，小整数再用可变字节编码或位级编码压缩。词典还可以用前缀共享减少重复字符串。压缩不仅节省磁盘，较少的读取字节也可能提高查询速度；代价是解码需要 CPU，更新策略也更复杂。

企业检索还必须执行安全裁剪。每篇文档可带访问控制列表、租户编号或可见范围，查询得到的候选集合要与当前用户的允许集合求交。过滤应贯穿召回、缓存、摘要生成和结果计数，不能只在页面展示前隐藏标题，否则总数、缓存键或高亮片段仍可能泄露文档存在性。

多租户系统常把租户条件尽量前推到索引分片或倒排表层。权限变化频繁时，需要在“重新写入索引”和“查询时读取最新权限”之间取舍：前者查询快但更新成本高，后者一致性及时但每次请求多一次过滤成本。

10

为什么有序倒排表常存储文档编号差值，而不是重复存完整编号？

A差值能让任意文档自动变成相关文档B相邻编号差通常较小，更适合可变长度编码压缩C差值可以省略权限校验D差值会让词项不再需要词典

---

与数据库、结构化数据和知识图谱协同

搜索并不一定独立于数据库。商品、工单或论文通常既有标题、正文等文本，也有状态、时间、部门和价格等结构化字段。稳妥的执行方式是让倒排索引负责文本召回，让数据库或列式过滤结构负责精确条件，再对两个候选集合求交。例如“近一年、状态已解决、包含死锁诊断”的查询同时需要时间范围、枚举条件和文本相关性。

当用户不知道表结构时，关键词也可以用于结构化数据探索。可以把元组看成节点、外键看成边：关键词先命中若干元组，再寻找连接这些元组的短路径，并按路径长度、边权和节点重要性排序。它适合临时浏览，但答案含义可能不唯一，不能替代语义明确的 SQL。

知识图谱还能为文本中的实体提供稳定标识。人名、机构名或产品简称在不同文档里可能同名，实体链接把具体提及连到唯一节点。查询可同时利用文档中的句子和图中的关系补足信息，但要保留命中证据，让用户知道结果来自哪段文本或哪条结构化关系。

一条可上线的检索链路可以按下面的顺序检查：

检索系统的可维护性来自这些边界：词项处理有版本，倒排项有明确语义，排序信号可以单独观测，评估集合能够重复运行，权限条件不能被绕过。做到这些，模型和算法即使继续变化，整条链路仍然可解释、可回归、可安全更新。

11

一个同时包含文本关键词、时间范围和部门权限的企业检索请求，合理的处理方式包括哪些？

A用倒排索引召回文本候选B用结构化条件过滤时间范围C把候选与用户可见文档集合求交D为了保持排名完整，先返回结果再由用户自行判断权限

检查