RAG作业流程的第一步涉及的5种切分策略

本文主要介绍RAG作业流程的第一步涉及的5种切分策略。

01. RAG应用作业流程

以下是典型的RAG应用作业流程：

RAG：将额定信息存储为向量，将传入的查询与这些向量匹配，并将最类似的信息与查询一同传递给大语言模型（LLM）。

因为额定的文档或许非常大，第1步还需要进行切分操作，将大文档分割成较小、易于管理的部分。

这一步至关重要，它确保文本可以适应嵌入模型的输入巨细。此外，它提高了检索步骤的功率和准确性，这直接影响生成响应的质量。

以下将逐渐介绍RAG的五种切分策略：

02. 固定巨细切分

最直观的切分办法是根据预订的字符数、单词数或Token数量将文本均匀分割成若干阶段。

因为直接切分或许会损坏语义流畅性，主张在连续阶段间保存一些重叠（如上图的蓝色部分）。

这种办法易于实现，而且一切阶段巨细相同，有助于简化批处理。

但它存在一个大问题：通常会在语句（或想法）半途切分，导致重要信息或许分散在不同阶段中。

语义切分

根据语句、阶段或主题部分等有意义的单元来切分文档，接着，为每个阶段生成嵌入，假设从第一个阶段及其嵌入开端。

• 假如第一个阶段的嵌入与第二个阶段的嵌入余弦类似度较高，则两个阶段组成一个切片。
• 这个进程持续进行，直到余弦类似度明显下降。
• 一旦下降，咱们就开端一个新切片并重复此进程。

输出或许如下所示：

这种方式与固定巨细切片不同，可以保持语言的天然流畅性，并保存完整的思维。

因为每个切片语义更为丰厚，它提高了检索准确度，进而使LLM生成的响应更加连贯且相关。

一个小问题是，确认余弦类似度下降的阈值在不同文档间或许有所不同。