利用RAGflow和LM Studio建立食品法规问答系统

最新推荐文章于 2025-04-27 15:14:25 发布
原创 最新推荐文章于 2025-04-27 15:14:25 发布
· 3.6k 阅读 · 45 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #大语言模型 #LLM #程序人生 #大模型微调 #RAGFlow #问答系统

前言

食品企业在管理标准、法规，特别是食品原料、特殊食品法规时，难以通过速查法规得到准确的结果。随着AI技术的发展，互联网上出现很多AI知识库的解决方案。

经过一轮测试，找到问题抓手、打通业务底层逻辑、对齐行业颗粒度、沉淀方法论、打通业务壁垒、形成业务闭环、提升用户感知度、赋能AI新赛道。

作者测试了钉钉内置AI、Defy.AI、fastGPT、FoodGPT、通义法睿、RAGflow+LM Studio、AnythingLLM，优缺点如下:

AI优点缺点
钉钉内置AI零代码部署、免费一本正经地胡说八道、不保证数据安全。知识库占用云盘空间
Defy.AI在线版零代码部署，本地版安全可控在线版收费、不保证数据安全，本地部署难度高。一本正经地胡说八道
AnythingLLM零代码本地部署一本正经地胡说八道
fastGPT在线版零代码部署，本地版安全可控。在线版收费、不保证数据安全，本地部署难度高。本地、在线版都收费。
FoodGPT回答精准，针对食品行业优化收费，不能定制
通义法睿回答精准、详实不能定制
RAGflow+LM Studio本地低代码部署，回答较为精准。自由选择模型。可定制。性能不太好

收费模式：每个问题多少钱或按照embedding和提问小号的Token数收费。

硬件、环境要求

电脑至少需要4核CPU、16GB内存、50GB硬盘

需要魔法上网，或者自己配置Docker、Git、HuggingFace国内源

Windows 推荐使用企业版或服务器版

需要基础的读Windows和Linux代码能力，解决报错的能力

部署LM Studio

  1. 在lmstudio.ai 下载LM Studio，在ModelScope或Huggingface下载大语言模型文件（文件格式必须是.gguf)
  2. 将模型导入至LM Studio后创建LocalSever，记住端口号

部署RAGflow

按照GitHub infiniflow/ragflow的步骤部署即可，注意软件不要放在C盘！注意软件不要放在C盘！注意软件不要放在C盘！

浏览器输入网址http://localhost/login，先注册账号

配置好Model Providers，Base url填写http://host.docker.internal:[LM Studio端口号]/v1/models

切换到Knowledge Base，上传文件即可，支持word、excel、pdf、txt、图片等格式；可以选择文件类型，如图书、文献、法律等；模型不要改

上传后要在Action列中点绿色开始键，开始embedding，完成后才算完成知识库导入

切换到Chat标签页，点击Create an Assisstant

Knowledgebase选中导入的知识库，切换到Model Setting中Model选择模型，Freedom选择Precise

大功告成！可以提几个问题测试模型是否正常运行

运行

与ChatGPT一样，可以直接向AI提问，见下图

img

总体效果挺好，回答基本不会胡说八道，并给出了出处。

优缺点

优点：

  1. 配置简单。

    1. 众所周知，N卡普遍显存很小，但是A卡配置ROCm很麻烦。LM Studio可以一键部署CUDA或ROCm，免除复杂的环境配置。
    2. RAGflow运行在Docker，直接免除用户配置anaconda、python、pytorch等软件。

  3. 很好地减轻了AI一本正经的胡说八道的问题。

  4. RAG Flow支持手动微调Embedding分块。

  5. 完全本地运行，数据安全可控。

缺点

  1. 既吃CPU+内存，又吃GPU+显存，需要配置很高的主机。
  2. 如果需要在企业部署还要配置域名解析，对RAGflow做二次开发，甚至要做显卡阵列。
  3. RAGflow不支持原生调用显卡加速，embedding非常耗时。
  4. RAGflow性能不太好，与在线托管的AI知识库相比响应速度有明显差距，对数据安全不敏感的，不建议使用RAGflow。

其他用法

除了做法规数据库，可以导入各类工作文件，比如公司规章制度、工作流程，沉淀的工作资料，收集的市场报告、文献、专利等。

使用数学模型甚至可能可以做数据处理和统计分析。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

大模型——用LM Studio本地运行大模型
03-12 2443
LM Studio 是一款流行的 GUI 应用程序，它允许具有基本计算机知识的用户在其 Linux 机器上轻松下载、安装和运行大型语言模型 (LLM)。LM Studio 是一款流行的 GUI 应用程序，它允许具有基本计算机知识的用户在其 Linux 机器上轻松下载、安装和运行大型语言模型 (LLM)。可以使用 LM Studio 聊天界面轻松安装、设置和访问流行的 LLM 模型，例如 Llama 3、Phi3、Falcon、Mistral、StarCoder、Gemma 等。
本地 LLM 运行工具Ollama 与 LM Studio 对比
刘元林的博客
02-08 2138
适合技术用户或开发者，需灵活控制模型、API 集成或命令行操作。
本地ragflow配置lmstudio模型
maya_st的博客
02-09 3383
表示1234这个端口被占用了，无法启动，lm一个很好的地方是，它直接点开settings就可以修改端口，我这里随便切了能用的端口，成功开启后，点击最上方的加载模型，把你想要在ragflow用的模型加载进来。解决方法：本人计算机知识黑洞有方案看不懂，一通折腾通过修改docker-compose-base文件的端口，删除重构容器得到解决ragflow和dify冲突的问题。我在对比ragflow和dify两个知识库做对比，在配置的问题上又又又又折腾了半天。选择头像来到模型提供商，找到lm studio添加模型。
GraphRAG+ollama+Lmstudio实操完整详细流程
weixin_42264784的博客
07-26 5307
中，我完成到了初始化GraphRAG这里，之后的大模型Api没有调用，本文记录了整个GraphRAG+ollama+Lmstudio实操完整详细流程。包括完整的GraphRAG的操作，ollama的端口获取、Lmstudio完整的模型瞎子和Api获取。小白学习，可供大家参考。
RAGFlow搭建全攻略：从入门到精通，轻松构建RAG知识库
最新发布
m0_63171455的博客
04-27 3233
RAGFlow是一种融合了数据检索与生成式模型的新型系统架构，其核心思想在于将大规模检索系统与先进的生成式模型（如Transformer、GPT系列）相结合，从而在回答查询时既能利用海量数据的知识库，又能生成符合上下文语义的自然语言回复。该系统主要包含两个关键模块：数据检索模块和生成模块。数据检索模块负责在海量数据中快速定位相关信息，而生成模块则基于检索结果生成高质量的回答或文本内容。
deepseek+ragflow本地部署私有智能问答系统，全程干货，零基础小白也能轻松掌握！！
2401_85325557的博客
02-14 2368
在安装docker和ragfllow的过程中遇到了2个问题，主要有： ①wsl没有更新，需要根据提示更新wsl后才能完成docker desktop的安装； ②docker Engine镜像仓库拉取到一半无法拉取的问题，由于ragfflow比较大，需要较好的网络，如无法拉取，多执行几次命令：
5分钟手把手系列(二)：本地部署Graphrag（Pycharm+Ollama+LM Studio）
m0_65555479的博客
09-14 2728
通过搭建GraphRAG本地demo后，笔者通过少量的文本内容（三国演义第一章），初略对比了一下传统RAG方案与GraphRAG方案，基于少量文本内容而言，GraphRAG的效果还是符合其宣传内容的，后续更严谨的测试还是需要海量数据的进行验证。希望本文能帮助到对GraphRAG有兴趣的朋友，毕竟读万卷书不如行万里路，看再多的理论介绍，不如自己亲自去动手验证一把来的实在~
端到端 RAG 解决方案 RAGFlow 正式开源
datageek的博客
04-01 8838
继 AI 原生数据库 Infinity 于去年底正式开源之后，我们的端到端 RAG 解决方案 RAGFlow 也于今日正式开源。项目地址： https://github.com/infiniflow/ragflow
为您的任意模型赋能——RAG
AliCloudROS的博客
09-18 1149
随着大语言模型的参数规模越来越大，微调模型的代价越来越大，于是知识检索增强的方式成为越来越主流的选择。通过提前准备好的知识库，在模型进行推理之前进行知识检索作为上下文一同交给大模型进行推理，从而提升大模型对领域知识的掌握程度，提升回答的专业性和准确性。AppFlow现在可以通过百炼知识库，为您的任意模型提供RAG能力，仅需多一个节点的配置，无需任何开发即可拥有RAG能力。
LM Studio windows版本安装
01-10
LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。 首先，使用LM ...
LM+Studio MAC OS版本安装
01-10
LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。 首先，使用LM ...
LM-Studio-0.3.9-6-x64.exe
02-11
LM Studio 是一个专门针对人工智能领域的创新平台，其核心功能是为用户提供快速、安全的本地大型语言模型的运行和下载服务。它特别强调本地化的操作方式，有效地解决了数据隐私问题和网络延迟等问题。用户利用该平台...
用LM Studio：2分钟在本地免费部署大语言模型，替代ChatGPT
weixin_39108752的博客
01-10 1万+
你想在本地使用类似ChatGPT 的大语言模型么？LM Studio 可以帮你2分钟实现ChatGPT的功能，而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。使用LM Studio不需要深厚的技术背景或复杂的安装过程。
【AI落地应用实战】DeepSeek + RagFlow + Ollama + 私有知识库 构建本地知识库系统实战指南
白洞，白色的明天在等着我们
02-21 1万+
本文将带您构建一个集大模型推理、智能检索、知识加工于一体的本地知识库系统，深度融合DeepSeek认知大模型的语义理解能力、RagFlow的文档智能处理能力以及Ollama的本地化部署优势。本文将以DeepSeek、RagFlow、Ollama为核心，手把手带你搭建一套支持GPU加速的私有知识库系统，助你快速实现AI技术的本地化部署与私有知识管理。
LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-05 3万+
​ LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略 目录 LM Studio的简介 LM Studio的安装和使用方法 LM Studio的案例应用 LM Studio的简介 LM Studio的口号是发现、下载并运行本地 LLMs。LM Studio 是一款桌面应用程序，可在您的计算机上运行本地大型语言模型（LLMs）。 官网：LM Studio - Discover, download, and run local
InternLM 实战营笔记-3-RAG助手
zwplus的博客
04-12 1026
RAG(检索式增强生成)，其核心思想是在LLM回答问题或者生成文本时会先从事前构建好的知识库(文献资料)中检索相关信息，然后基于相关问题和检索到的信息来回答问题或者文本，从而提高预测质量。如果说大模型在之前回答用户问题是在参与一场闭卷考试，那现在通过RAG技术，大模型回答用户的问题就是在参加一场开卷考试，RAG技术中构建的知识库也就相当于开卷考试时带进考场的资料。
如何从0部署一个大模型RAG应用
AliCloudROS的博客
10-25 876
本文将为您介绍如何零基础部署一套RAG应用，并在移动端随时调用您的RAG应用。利用阿里云人工智能平台PAI和AppFlow，您将可以轻松的部署一套大模型RAG应用并且集成到多个分发渠道中。下面以钉钉群聊场景为例为您介绍PAI + AppFlow的部署方案。
ragflow-plus：为流程设计带来全新效率和体验
gitblog_00831的博客
04-14 1019
ragflow-plus：为流程设计带来全新效率和体验 ragflow-plus Ragflow-Plus 是 Ragflow 的二次开发版本，主要用于本地LLM部署，增加部分功能，使其更为简洁实用 项目地址: https://g...
快速搭建专业AI知识库的开源工具:Ragflow
m0_59163425的博客
02-04 2208
在大模型应用的蓬勃发展中，检索增强生成（Retrieval-Augmented Generation，RAG）技术占据了举足轻重的地位。它就像是大模型的智慧助手，通过从外部知识库中检索相关信息，并将其融入到大模型的回答生成过程中，有效提升了大模型回答的准确性、可靠性和时效性，在问答系统、智能客服、文档摘要等多个领域都发挥着关键作用。上图是一个常见的AI应用的数据流向图，文档分块之后向量化存储到向量数据库，然后输入文本内容，形成prompt，从向量数据库检索相关的知识背景，发送给LLM之后，返回结果。
ragflow连接LM studio
03-13
### RAGFlow与LM Studio连接方法 为了实现RAGFlow与LM Studio之间的有效集成，需理解两者的工作原理及其交互方式。GraphRAG是一种用于增强检索生成任务的方法，在实际应用中可以显著提升基于文档查询的质量[^1]。 #### 安装配置环境准备 确保已成功安装并配置好LM Studio，这涉及从官方站点下载适合计算机系统的版本，并完成初步设置过程[^2]。 #### API接口对接 对于想要把RAGFlow同LM Studio相连的情况来说，关键是通过API来调用后者所提供的服务功能。具体而言： - **获取API密钥**：登录到LM Studio平台后，按照指引创建项目并取得相应的API Key。 - **构建请求结构**：依据所使用的编程语言编写客户端代码片段，向LM Studio发送HTTP POST请求。下面给出Python示例代码： ```python import requests url = 'http://localhost:8080/api/v1/generate' headers = {'Content-Type': 'application/json'} data = { "prompt": "your input here", "max_tokens": 50, } response = requests.post(url, headers=headers, json=data).json() print(response['choices'][0]['text']) ``` 此段脚本展示了怎样利用POST方法传递参数给服务器端处理，并接收返回的结果字符串。 #### 数据流管理 当涉及到复杂的对话逻辑或者多轮次交流场景下，则可能还需要考虑更高级别的数据交换机制，比如WebSocket长链接保持实时通讯状态；不过对于简单的问答型任务而言上述方案已经足够满足需求了。 #### 测试验证效果 最后一步就是反复测试整个链路是否顺畅无阻，调整优化直至达到预期性能指标为止。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值