安装graphrag
1、graphrag安装
pip install graphrag
2、graphrag初始化
python -m graphrag.index --init --root ./graphrag
在运行graphrag之前需要进行初始化,初始化之后会生成几个比较重要的配置文件input、output、prompts、settings.yaml;其中input存放graphrag解析的非结构化数据,output是最后抽取完的数据,prompts中存放着默认的实体抽取prompt、实体总结prompt以及社区总结prompt等,settings.yaml存放的是大模型llm的配置、向量化配置、切块配置等
配置文件特别长,我这里为了简单测试先只调整settings.yaml,配置我们需要的模型
encoding_model: cl100k_base
skip_workflows: []
llm:
api_key: ${GRAPHRAG_API_KEY}
type: openai_chat # or azure_openai_chat
model: llama3-70B
api_base: http://127.0.0.1:8000/v1
我这里使用开源的llama3-70b,变更模型地址如上;然后再调整切块策略
chunks:
size: 1200
overlap: 100
做rag的应该都知道切块的大小及overlap,切块很简单也很复杂,