LlamaIndex 加 Ollama 实现 Agent

AI Agent 是 AIGC 落地实现的场景之一，与 RAG 不同，RAG 是对数据的扩充，是模型可以学习到新数据或者本地私有数据。AI Agent 是自己推理，自己做，例如你对 AI Agent 说我要知道今天上海的天气怎么样，由于 AI 是个模型，底层通过一套复杂的算法进行相似度的比较，最终选出相似最高的答案，所以模型本身是无法访问网络去获取数据的。如果AIGC 只能回答问题，复杂任务和与外界的沟通还需要人手工处理，就没有发挥出模型应有的能力。所以，AI Agent 做的就是根据具体问题的上下文信息，使用对应的工具得到需要的信息，并最终将信息返回。最典型的场景就是去 Google、百度搜索，模型对结果集进行理解并最终给出结果。我们看到当问 “千问” 天气问题的时候，他是去外部查找信息的。

通过 LlamaIndex + 本地 Ollama Llama3实现了一个 Agent。

首先安装依赖

pip install llama-index     
pip install llama-index-llms-ollama
pip install python-dotenv 
pip install llama-index-embeddings-huggingface

申请LlamaIndex API

https://cloud.llamaindex.ai/ 申请一个 API Key，使用 Llama Parser 解析 PDF。

Ollama

下载 Ollama3 和 Code Llama，一个模型用于 RAG，一个模型用于生成代码

解析 PDF 并生成 Python 代码