llamaindex补充知识 搜索器 🟰检索器 节点处理 相应器

检索器

一开始就没有加入这个知识点 以为生成引索后直接使用 关键词 和 大模型 llm 来查询

其实还有一步检索器检索器 检索器 可以对引用的数据初步检索 可以做到分部门(权限)

节点处理器

之后节点处理 还可以对数据处理 隐私处理 节点前后处理实现长文档处理 对检索的数据评分过滤 还可以减少传入值 (若没有这一步 每次大模型检索会把全部节点向量,连同问题一同进入特别耗tokens 再者目前llm 一般128k上下文,可能获取数据不全导致回复有问题)还有重复处理 时间处理(时间规则顺序)

响应器

在接受到问题后 使用预设prompt 和llm 通信,响应后然后将问题与节点处理后的数据一一交给llm 然后得出最终结果

以上三个组成llamaindex的搜索器。

用户提问

检索器(召回相关节点)

节点处理器(过滤、脱敏、压缩、重排)

响应器(组织提示词 + LLM 生成答案)

返回结果(可带引用)