Agent 动态 RAG

tags:: AI Agent, todo.rag， Prompt Engineering

想法

基于 BoT + Prompt Engineering 前置思考

针对使用 RAG 处理代码库文档的场景，可能存在信息需要前置告知 LLM ，所以此时不能随机从文档中抽取片段给 LLM，而是应该将文档做初步处理，分析不同文档片段依赖的前置信息和背景上下文（类似于一张卡片笔记）

更进一步地，考虑实现动态 RAG 文本片段，针对实际使用中无法达到预期效果的 bad case 情况进行针对性优化 RAG 文本片段：

• 添加更多前置上下文信息
• 或修改文字表述方式，比如类比 LLM 熟悉的概念（这种方法是否有效？）

要点

1. AI 领域，Prompt Engineering 是一个动态的过程，不是预先调整好提示词就不管了，而是要经常根据实际使用中出现的 bad case 进行迭代优化，不断完善
   1. 好比于 DevOps 概念，将开发和发布是反复交替迭代的
2. RAG 需要考虑信息之间的关联性