04 LlamaIndex入门教程：使用本地模型的五步指南

LlamaIndex入门教程：使用本地模型的五步指南

在本教程中，我们将展示如何使用本地LLM和嵌入模型来构建一个简单的LlamaIndex应用。我们将使用BAAI/bge-base-en-v1.5作为嵌入模型，并通过Ollama服务Llama3模型。

提示

确保你已经按照自定义安装步骤进行了操作。

下载数据

本示例使用Paul Graham的散文《What I Worked On》的文本。你可以在我们的仓库的示例文件夹中找到许多其他示例。

获取它的最简单方法是点击此链接下载，并将其保存在名为data的文件夹中。

设置

Ollama是一个帮助你在本地设置LLM的工具（目前支持OSX和Linux。你可以通过WSL 2在Windows上安装Ollama）。

按照README学习如何安装它。

要下载Llama3模型，只需执行ollama pull llama3。

注意：你需要一台至少有32GB RAM的机器。

要导入llama_index.llms.ollama，你应该运行pip install llama-index-llms-ollama。

要导入llama_index.embeddings.huggingface，你应该运行pip install llama-index-embeddings-huggingface。

更多集成都可以在https://llamahub.ai 上找到。

加载数据并构建索引

在你创建了data文件夹的同一文件夹中，创建一个名为starter.py的文件，内容如下：