基于Ollama+AnythingLLM快速搭建本地RAG系统

原创 已于 2024-05-29 18:25:22 修改 · 5k 阅读 · 41 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#后端

于 2024-04-21 16:06:51 首次发布

基于Ollama+AnythingLLM快速搭建本地RAG系统

本次使用的操作系统及硬件信息如下：

  • 操作系统：windows11 23H2
  • CPU: intel i7-12700
  • MEM: 16GB
  • GPU: NVIDIA GeFor
  • ce GTX 1650
  • Disk： 512GB SSD
  • Python：3.10.0

1. 下载安装Ollama

1.1 安装ollama

下载ollama并安装，傻瓜式安装。

1.2 下载预训练模型

需要下载两种模型：

  1. llm模型： gemma:2B
ollama pull gemma:2B
  1. embedding模型： nomic-embed-text
ollama pull nomic-embed-text

1.3 启动ollama服务

C:\Users\Admin>ollama serve
time=2024-04-21T14:44:06.139+08:00 level=INFO source=images.go:817 msg="total blobs: 24"
time=2024-04-21T14:44:06.150+08:00 level=INFO source=images.go:824 msg="total unused blobs removed: 0"
time=2024-04-21T14:44:06.150+08:00 level=INFO source=routes.go:1143 msg="Listening on 127.0.0.1:11434 (version 0.1.32)"
time=2024-04-21T14:44:06.238+08:00 level=INFO source=payload.go:28 msg="extracting embedded files" dir=C:\Users\Admin\AppData\Local\Temp\ollama3090016095\runners
time=2024-04-21T14:44:06.434+08:00 level=INFO source=payload.go:41 msg="Dynamic LLM libraries [cpu cpu_avx cpu_avx2 cuda_v11.3 rocm_v5.7]"

执行上述命令会在本地的114343端口启动服务，可以供外部调用。

C:\Users\Admin>netstat -ano | findstr 11434
  TCP    127.0.0.1:11434        0.0.0.0:0              LISTENING       29472

C:\Users\Admin>tasklist | findstr ollama
ollama.exe                   29472 Console                    1     47,432 K

2. 下载安装AnythingLLM

访问官网下载windows安装包，双击下一步安装即可。

安装后搜索AnythingLLM或在桌面快捷方式打开程序，兼容多种LLM模型。

2.1 开始配置

2.2 LLM Preference配置如下：

  • LLM provider: ollama
  • Ollama Base URL：http://127.0.0.1:11434
  • Chat Model Selection: gemma:2b
  • Token context window: 4096

2.3 Embedding Preference

选择ollama并配置如下参数：

  • Ollama Base URL：http://127.0.0.1:11434
  • Embedding Model Selection: nomic-embed-text:latest
  • Token context window: 8192

2.4 Vector Database

向量数据库选择LanceDB。

2.5 Data handing

2.6 welcome to AnythingLLM

填写调查信息。

2.7 创建工作区

3. 知识库创建与测试

3.1 测试文档

测试的两个文档，分别为英文和中文：

  1. paul_graham_essay.txt
  2. 中华人民共和国民法典.pdf

3.2 上传并做向量化

在上述创建的工作区，上传文档：

选择测试文档并移动到工作区：

保存并进行嵌入向量化处理：

3.3 对话问答测试

prompt 1： What was the author‘s age when in 9th grade?

prompt 2： What did the author do in 9th grade?

prompt 3: 民法典第一条内容是什么？

从chat对话中可以看出基于上传的文档，可以回答简单的问题；对于中文文档推理的效果较差。

基于Ollama+AnythingLLM+Deepseek 1.5b构建企业级知识库
RodJohnsonDoctor的专栏
02-23 1305
通过本文的实践，您可以在CentOS环境下快速搭建一个企业级的知识问答系统。结合Ollama、Deepseek 1.5b和AnythingLLM，不仅能够实现高效的中文知识管理，还能保障数据的私有化和安全性。希望本文对您的项目有所帮助！
【DeepSeek应用实践】手把手教程：用 AnythingLLM + Ollama + DeepSeek-R1 搭建本地企业知识库
寻道AI，探索AI无限可能！
03-28 2077
在众多的技术方案中，我们选择了 AnythingLLM、Ollama 和 DeepSeek-R1 这一组合来搭建本地知识库。Ollama 作为一个轻量级的本地化大语言模型部署工具，支持多种模型，易于安装和使用，能够快速在本地运行强大的语言模型。DeepSeek-R1 是一个专为知识库问答设计的检索增强生成（RAG）模型，它结合了检索和生成的优势，能够快速从知识库中检索相关信息并生成精准答案。而 AnythingLLM 则是一个用户友好的界面工具，可以方便地连接 Ollama 和 DeepSeek-R1
【Ollama】AI大模型本地部署
掘金者说
03-27 3612
Ollama轻量级、可扩展的框架，用于在本地机器上构建和运行大型语言模型（LLM）。提供了一个简单的API来创建、运行和管理模型，以及一个预构建模型库，可以轻松用于各种应用程序。明显优势：易于使用、轻量级、可扩展、预构建模块库。应用场景：文本生成、翻译、问答、代码生成。人群价值：研究人员、开发人员、爱好者。项目优点：易用性、性能、功能、社区。
使用Ollama和Go基于文本嵌入模型实现文本向量化
TonyBai
05-09 3131
基于RAG+大模型的应用已经成为当前AI应用领域的一个热门方向。RAG(Retrieval-Augmented Generation)将检索和生成两个步骤相结合，利用外部知识库来增强生成模型的能力(如下图来自网络)。在RAG赋能的大模型应用中，关键的一步是将文本数据向量化后存储在向量数据库中(如上图的红框)，以实现快速的相似度搜索，从而检索与输入查询相关的文本片段，再将检索到的文本输入给生成模型生...
本地AI知识库神器AnythingLLM：工程人设置与使用全攻略-从零到能用，大模型入门到精通，收藏这篇就足够了！
最新发布
DEVELOPERAA的博客
10-12 857
anythingllm其实是一个框架，将大语言模型llm、嵌入模型、向量数据库组合起来的这么一个东西。
如何使用 Langchain、Ollama 和 Streamlit 构建 RAG
songgz的专栏
03-12 6071
在本博客完成中，我们将指导您创建可在本地运行的 RAG 的过程。这个过程不仅会加深您对尖端语言如何计算机工作的理解，还将使您能够在自己的项目中实施它们无论您是希望将 RAG 集成到现有应用程序中，还是只是探索 NLP 的前沿领域，本教程都是您的入门之选。
使用ollama + AnythingLLM快速且简单的在本地部署llama3
2401_85327249的博客
07-18 2289
因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费。
基于Ollama和AnythingLLM搭建本地化知识库RAG
scj0725的博客
04-24 7549
先看效果,我上传了一个pdf如下：上传之后做向量化处理，处理完成之后，就可以开始问答了。
Ollama+Deepseek+AnythingLLM私有化大模型解析
weixin_47600479的博客
02-07 1924
这是一种深度学习搜索引擎技术方案，旨在从大量非结构化信息源中提取有价值的知识点并建立索引。对于建设企业内部或个人专属的知识管理体系非常有用。我用大白话解释一下，DeepSeek其实就是我们所说的一种大模型，其中DeepSeek-V3 在推理速度上相较历史模型有了大幅提升，在当前开源模型中位列榜首。是一款专注于文本生成优化的技术工具集，在提高生成质量的同时减少计算资源消耗。它可以对经过预处理的数据进行微调，使得最终得到的语言模型更高效准确地响应查询请求。
基于Ollama和AnythingLLM的本地RAG知识库搭建
该方案基于Ollama和AnythingLLM两大开源工具，实现了无需依赖公有云服务即可运行的本地化RAG系统。Ollama是一个轻量级、本地化的大语言模型运行框架，支持多种主流开源模型（如Llama 3、Mistral、Gemma等）的快速...
基于Ollama和AnythingLLM搭建本地私有知识库
资源摘要信息:"【大语言模型应用】Ollama+AnythingLLM搭建本地私有知识库：实现AI专家系统与文档智能处理"一文系统性地介绍了如何在本地环境中构建一个基于大语言模型的私有知识库系统，旨在通过集成Ollama、通义千...
ollama轻松部署本地GraphRAG（避雷篇）
weixin_63866037的博客
08-18 1万+
本篇文章主要介绍如何使用ollama本地部署微软的Graph RAG，，Graph RAG成为RAG一种新范式，对于全局总结性问题表现突出，由ollama一站式解决。但是中间也出现非常多的问题，比如Columns must be same length as key。跟着本篇文章使用ollama+mistral-nemo+mxbai-embed-larg`实现本地的GraphRAG的部署！
使用Ollama从头构建Embedding和RAG系统
年少的勇气已经用完，剩下的就是三思而后行
04-05 7429
检索增强生成（RAG）赋予大型语言模型新的能力，使其能够与任何大小的文档或数据集进行互动。接下来，请跟随我一起了解如何解析和操作文档，探讨如何利用嵌入向量来描述抽象概念，实现一种简单而强大的方法，以找出文档中与特定查询最相关的部分，并最终构建一个脚本，使本地托管的大型语言模型能够处理您自己的文档。
RAG 实践- Ollama+RagFlow 部署本地知识库
python123456_的博客
09-04 6021
本文我们介绍另一种实现方式：利用 Ollama+RagFlow 来实现，其中 Ollama 中使用的模型仍然是Qwen2我们再来回顾一下 RAG 常见的应用架构。
基于Ollama与AnythingLLM搭建本地自己RAG知识库
Frank's Blog
07-15 2696
搭建一个本地知识库，会涉及到三个关键点： 1、LLM Model，大语言模型，它负责处理和理解自然语言。 2、Embedding Model，嵌入模型，它负责把高维度的数据转化为低维度的嵌入空间，这个数据处理过程在RAG中非常重要。 3、Vector Store，向量数据库，专门用来高效处理大规模向量数据。
本地私有化RAG知识库搭建—基于Ollama+AnythingLLM保姆级教程
zhishi0000的博客
09-11 2599
检索增强生成（Retrieval-Augmented Generation，RAG）是一种结合了信息检索和语言模型的技术，它通过从大规模的知识库中检索相关信息，并利用这些信息来指导语言模型生成更准确和深入的答案。这种方法在2020年由Meta AI研究人员提出，旨在解决大型语言模型（LLM）在信息滞后、模型幻觉、私有数据匮乏和内容不可追溯等问题。即：RAG 就是可以开卷回复的 LLM‍。
手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！
热门推荐
2401_86435672的博客
09-20 1万+
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。中文支持不够完善。\3. 文中提到的技术软件工具有：Ollama、Chatbox、Open WebUI、向量数据库、嵌入模型、本地模型 Gemma、AnythingLLM。
RAG 实践-Ollama+AnythingLLM 搭建本地知识库
2401_84495872的博客
06-12 2128
RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。
利用ollama + RAGFlow部署千问大模型构建个人知识库AI智能体应用
qkh1234567的博客
12-16 1461
将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。
AttributeError: module 'base' has no attribute 'CurrentSelection'
07-15
<think>我们正在处理用户关于ANSA二次开发的问题。用户之前询问了`base.CollectEntities`的用法，现在遇到了新的错误：`AttributeError: module 'base' has no attribute 'CurrentSelection'`。 根据用户提供的错误信息，问题出现在尝试调用`base.CurrentSelection`时。在ANSA二次开发中，`base`模块确实提供了`CurrentSelection`函数，但错误提示表明在当前环境中找不到这个属性。 分析可能的原因： 1. **ANSA版本问题**：用户使用的ANSA版本可能较旧，不支持`CurrentSelection`函数。该函数在较新的ANSA版本中引入，旧版本中可能不存在。 2. **导入方式问题**：用户可能没有正确导入`base`模块，或者导入了同名的其他模块（如Python标准库中的`base`模块）。 3. **函数名拼写错误**：虽然用户提供的错误信息中显示的是`CurrentSelection`，但实际代码中可能存在大小写或拼写错误。 在ANSA二次开发中，获取当前选中实体的标准方法是使用`base.CurrentSelection`函数。该函数返回当前在图形界面中选中的实体列表。 ### 解决方案 #### 1. 确认ANSA版本 首先，请确认您使用的ANSA版本是否支持`CurrentSelection`函数。该函数在ANSA v15.1.0及以上版本中可用。您可以通过以下代码检查ANSA版本： ```python import ansa print(ansa.GetANSAVersion()) ``` 如果版本低于v15.1.0，您需要使用旧版方法获取当前选择： ```python # 旧版ANSA获取当前选择的方法 from ansa import guitk selected = guitk.ANSA_GUI.GetSelectedEntities() ``` #### 2. 检查导入的模块 确保您正确导入了ANSA的`base`模块，而不是其他名为`base`的模块。在ANSA脚本环境中，通常使用： ```python from ansa import base ``` #### 3. 使用正确的函数名 注意函数名的大小写：`CurrentSelection`（首字母大写）。尝试以下代码： ```python selected_entities = base.CurrentSelection(deck) ``` #### 4. 替代方法（如果上述均失败） 如果上述方法都不可行，可以尝试使用`guitk`模块中的选择获取方法： ```python from ansa import guitk, constants # 获取当前选择（返回实体列表） selected_entities = guitk.ANSA_GUI.GetSelectedEntities() # 过滤出属性（PROPERTY）实体 selected_props = [ent for ent in selected_entities if ent._type == '__PROPERTIES__'] # 提取PID（以NASTRAN为例） deck = base.CurrentDeck() # 或指定为特定求解器，如constants.NASTRAN selected_pids = [] for prop in selected_props: # 获取PID字段的值 pid_value = prop._get_entity_values(deck, ('PID',)).get('PID', None) if pid_value is not None: selected_pids.append(pid_value) ``` ### 各ANSA版本选择API对比 | ANSA版本 | 推荐方法 | 说明 | |------------|-----------------------------------|--------------------------| | **≥v15.1** | `base.CurrentSelection(deck)` | 返回当前选择的实体列表 | | **<v15.1** | `guitk.ANSA_GUI.GetSelectedEntities()` | 返回当前选择的实体列表 | ### 常见错误排查 1. **模块导入冲突** 避免使用`import base`，而是使用`from ansa import base`，确保导入的是ANSA的模块。 2. **未设置求解器模板** `CurrentSelection`需要传入求解器模板（如`constants.NASTRAN`），否则可能返回空列表。 3. **无选中实体** 如果当前没有选中任何实体，函数将返回空列表。请确保在运行脚本前已选中属性（PROPERTY）。 ### 完整示例（兼容新旧版本） ```python from ansa import base, constants, guitk def get_selected_pids(): deck = base.CurrentDeck() # 方法1：尝试使用base.CurrentSelection（新版本） try: selected_entities = base.CurrentSelection(deck) except AttributeError: # 方法2：回退到guitk方法（旧版本） selected_entities = guitk.ANSA_GUI.GetSelectedEntities() # 过滤属性实体并提取PID selected_pids = [] for ent in selected_entities: if ent._type == '__PROPERTIES__': # 根据求解器获取PID字段名 if deck == constants.ABAQUS: field_name = 'id' else: # NASTRAN, LSDYNA等 field_name = 'PID' # 获取字段值 values = ent.get_entity_values(deck, (field_name,)) pid_val = values.get(field_name) if pid_val is not None: selected_pids.append(pid_val) return selected_pids # 使用示例 if __name__ == '__main__': pids = get_selected_pids() print("选中的PID:", pids) ``` ### 相关问题 §§相关问题§§ 1. 如何在ANSA中通过脚本选择指定PID的实体？ 2. ANSA二次开发中如何获取属性关联的单元和材料？ 3. 不同ANSA版本API变化如何兼容处理？</think>### AttributeError: module 'base' has no attribute 'CurrentSelection' 原因与解决方案 这个错误表明您在使用ANSA二次开发API时，尝试调用了`base.CurrentSelection()`方法，但当前环境中的`base`模块没有这个属性。以下是可能的原因和解决方案： #### 错误原因分析 1. **ANSA版本不兼容**（最常见原因） `CurrentSelection`是较新的ANSA API（v15.1+引入），旧版本可能不支持[^1]。 **验证方法**：在ANSA脚本窗口运行： ```python import ansa print(ansa.GetANSAVersion()) # 检查版本是否≥15.1 ``` 2. **模块导入错误** 可能导入了错误的`base`模块（如Python标准库的`base`而非ANSA的`base`）： ```python # 错误方式 ❌ import base # 可能导入了Python内置模块 # 正确方式 ✅ from ansa import base # 明确指定ansa包的base模块 ``` 3. **API使用方式错误** `CurrentSelection`需要传递求解器模板参数： ```python # 错误用法 ❌ base.CurrentSelection() # 正确用法 ✅ deck = base.CurrentDeck() # 获取当前求解器模板 selected = base.CurrentSelection(deck) # 必须传入deck参数 ``` #### 兼容性解决方案 ##### 方案1：使用新版API（推荐） ```python from ansa import base, constants # 获取当前求解器模板（如NASTRAN） deck = base.CurrentDeck() # 或直接指定 constants.NASTRAN # 获取当前选择的实体 selected_entities = base.CurrentSelection(deck) # v15.1+ # 过滤属性实体 selected_props = [ent for ent in selected_entities if ent._type == '__PROPERTIES__'] ``` ##### 方案2：旧版ANSA的替代方法（v15.0及以下） ```python from ansa import guitk # 旧版获取选择集的方法 selected_entities = guitk.ANSA_GUI.GetSelectedEntities() # 提取属性PID（以NASTRAN为例） selected_pids = [] for ent in selected_entities: if ent._type == '__PROPERTIES__': # 获取PID字段值 values = ent.get_entity_values(constants.NASTRAN, ('PID',)) selected_pids.append(values['PID']) ``` #### 版本兼容性封装函数 ```python def get_selected_properties(): """兼容不同ANSA版本的属性获取函数""" try: # 尝试新API (v15.1+) from ansa import base deck = base.CurrentDeck() selected = base.CurrentSelection(deck) except AttributeError: # 回退到旧API (v15.0-) from ansa import guitk selected = guitk.ANSA_GUI.GetSelectedEntities() # 过滤属性实体 return [ent for ent in selected if ent._type == '__PROPERTIES__'] # 使用示例 props = get_selected_properties() for prop in props: print(f"属性PID: {prop.PID}") # 直接访问PID字段 ``` #### 关键注意事项 1. **求解器字段差异**： ABAQUS中PID字段名为`'id'`，需特殊处理： ```python if deck == constants.ABAQUS: pid_value = prop.get_entity_values(deck, ('id',))['id'] ``` 2. **实体类型验证**： 使用前检查实体类型避免错误： ```python if not hasattr(ent, '_type'): continue # 跳过非标准实体 ``` 3. **错误处理**： 添加异常捕获防止脚本崩溃： ```python try: selected = base.CurrentSelection(deck) except Exception as e: print(f"API调用失败: {str(e)}") selected = [] ``` > 通过`dir(base)`可查看当前版本支持的API列表： > ```python > print([func for func in dir(base) if not func.startswith('__')]) > ``` ### 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lldhsds

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值