RAG模块
输入“/”快速插入内容
RAG模块
RAG模块
飞书用户9882024年8月13日修改
定义
RAG（Retrieval-Augmented Generation）通过引用外部权威知识库来优化大型语言模型（LLM）的输出，增强其生成响应的能力。这种方法允许LLM在不重新训练的情况下，访问特定领域的知识，提高输出的相关性、准确性和实用性。
本文主要介绍当前MetaGPT所提供的RAG功能：
1.
数据输入，支持多种格式文件（包括pdf/docx/md/csv/txt/ppt）、python对象
2.
检索功能，支持faiss/bm25/chromadb/es，并支持混合检索
3.
检索后处理，支持LLM Rerank/ColbertRerank，对上面检索出来的内容进行重排以得到更准确的数据
4.
数据更新，增加文本与python对象
5.
数据保存及恢复，不用每次都进行向量化
前置准备
•
安装RAG模块
代码块
# 从pypi安装
pip install metagpt[rag]
代码块
# 从源码安装
pip install -e .[rag]
注意点：
1.
有些模块比较大，采用延迟加载，需要自行安装，比如要使用ColbertRerank，需安装llama-index-postprocessor-colbert-rerank。
•
配置embedding
代码块
# openai
embedding:
api_type: "openai"
base_url: "YOU_BASE_URL"
api_key: "YOU_API_KEY"
# azure
embedding:
api_type: "azure"
base_url: "YOU_BASE_URL"
api_key: "YOU_API_KEY"
api_version: "YOU_API_VERSION"
# gemini
embedding:
api_type: "gemini"
api_key: "YOU_API_KEY"
# ollama
embedding:
api_type: "ollama"
base_url: "YOU_BASE_URL"
model: "YOU_MODEL"
注意点：
1.
为了向后兼容，如果config不设置embedding，并且llm的api_type类型是openai或azure，那么会使用llm的配置进行embedding。
2.
如果llm是ollama，可能会出现"context size was not non-negative"报错，这时需要在llm里配置max_token，比如2048。
数据输入
示例 1.1: 文件或目录
代码块
import asyncio
from metagpt.rag.engines import SimpleEngine
from metagpt.const import EXAMPLE_DATA_PATH
DOC_PATH = EXAMPLE_DATA_PATH / "rag/travel.txt"
async def main():
engine = SimpleEngine.from_docs(input_files=[DOC_PATH])
answer = await engine.aquery("What does Bob like?")
print(answer)
if __name__ == "__main__":
asyncio.run(main())