检索器
一开始就没有加入这个知识点 以为生成引索后直接使用 关键词 和 大模型 llm 来查询
其实还有一步检索器检索器 检索器 可以对引用的数据初步检索 可以做到分部门(权限)
节点处理器
之后节点处理 还可以对数据处理 隐私处理 节点前后处理实现长文档处理 对检索的数据评分过滤 还可以减少传入值 (若没有这一步 每次大模型检索会把全部节点向量,连同问题一同进入特别耗tokens 再者目前llm 一般128k上下文,可能获取数据不全导致回复有问题)还有重复处理 时间处理(时间规则顺序)
响应器
在接受到问题后 使用预设prompt 和llm 通信,响应后然后将问题与节点处理后的数据一一交给llm 然后得出最终结果
以上三个组成llamaindex的搜索器。
用户提问
↓
检索器(召回相关节点)
↓
节点处理器(过滤、脱敏、压缩、重排)
↓
响应器(组织提示词 + LLM 生成答案)
↓
返回结果(可带引用)