RAG技术入门基础教程(非常详细),RAGFlow项目从入门到精通,收藏这一篇就够了!

在自然语言处理的广阔领域中,大模型如 GPT-4o、Qwen-2、Llama 4 等展现出了强大的语言理解与生成能力,为智能交互带来了革命性的变化。但它们也并非十全十美,知识滞后、幻觉生成、私有数据泄露等问题,限制了其在行业场景中的应用。就在这时,RAG 技术应运而生,凭借独特的 “检索外部知识库 - 注入大模型提示词 - 生成精准答案” 逻辑,成为了解决这些痛点的关键钥匙。

如今,RAG 技术已经广泛应用于金融、医疗、企业服务等多个领域。在金融领域,它助力合规问答,帮助金融从业者快速准确地获取合规信息,应对复杂多变的监管要求;医疗领域,RAG 技术实现病历检索,为医生提供更全面的患者信息,辅助精准诊断;企业内部,它搭建起知识库,提高员工信息获取效率,促进知识共享与协作;客服场景中,RAG 技术让智能客服更加智能,能够快速准确地回答客户问题,提升客户满意度 。可以说,RAG 技术正悄然改变着我们获取信息和交互的方式,为各行业带来了新的机遇与变革。

一、RAG 技术深度剖析

(一)RAG 技术原理揭秘

RAG,即检索增强生成(Retrieval-Augmented Generation),是一种将信息检索与自然语言生成相结合的 AI 架构模式。它的核心流程可以简单概括为三个步骤:首先,当用户提出问题时,系统会把这个问题转换成一个检索请求;接着,检索模块依据这个请求,在外部知识库中进行搜索,筛选出与问题相关的信息;最后,生成模块将检索到的信息与原始问题一同作为输入,利用大语言模型生成最终的回答。

以金融领域的合规问答为例,当用户询问 “最新的金融监管政策对理财产品投资门槛有何影响” 时,RAG 系统会迅速在包含最新金融监管文件的知识库中检索相关内容,找到如《关于规范金融机构资产管理业务的指导意见》等文件中的具体条款,再结合这些条款,通过大语言模型生成准确且详细的回答 ,告知用户理财产品投资门槛的变化情况以及背后的政策依据。

RAG 技术的出现,成功弥补了大语言模型的知识边界问题。大语言模型虽然在训练时学习了海量数据,但知识固定在训练时间点,无法获取实时信息,也难以覆盖所有专业领域的深度知识。而 RAG 通过动态检索外部信息,让大语言模型在回答问题时有了 “最新资料” 的辅助,有效解决了这一局限性。同时,它还能减少大语言模型容易出现的 “幻觉” 问题,生成更可靠、更具可解释性的答案 。

(二)技术分支与架构演进

随着技术的不断发展,RAG 逐渐形成了五大技术分支体系,每一个分支都有其独特的优势和应用场景。

基于微调的 RAG(Fine-tune RAG)采用了 “轻量微调” 方案,通过 LoRA、QLoRA 等技术对检索器或生成器进行局部微调。这种方式无需全量训练,就能让模型快速适配特定行业数据,比如法律条文、医疗术语等。以法律行业为例,通过对法律条文相关数据的微调,模型能够更准确地理解和回答诸如 “根据最新的民法典,合同违约的赔偿标准是什么” 之类的专业问题,大大提高了回答的准确性和专业性 ,同时成本降低 60% 以上。

基于预训练的 RAG(Pre-trained RAG)则受益于主流预训练模型,如 BGE-M3、E5-v3 等,这些模型已内置 RAG 适配能力。它们支持多语言检索与跨领域迁移,无需额外开发就能轻松对接向量数据库。这使得 RAG 在处理跨国公司的多语言文档检索,或者需要在不同领域知识间切换的复杂任务时,能够快速准确地提供服务,极大地拓展了 RAG 的应用范围 。

基于推理结合的 RAG(Reasoning RAG)融合了智能体(Agent)技术,为检索流程带来了智能化的自主规划能力。在多轮追问场景中,当用户询问 “某网络攻击事件的详细情况及应对措施”,接着进一步追问 “该应对措施的具体实施步骤有哪些” 时,它能根据前一轮的生成结果动态调整检索策略,分步骤检索相关信息,从而更全面、深入地回答用户的复杂问题 ,提升了在复杂场景下的解答质量。

增量 RAG(Incremental RAG)是 2025 年核心新增分支,它解决了传统 RAG “更新必重建” 的效率痛点。通过增量向量更新技术,新上传的文档可快速融入检索体系,实现知识库实时更新无需重新索引。在企业的知识管理中,当有新的产品技术文档或业务流程更新时,员工能在新数据上传后 10 秒内即可通过 RAG 系统检索到相关内容,大大提高了知识获取的时效性 。

多模态 RAG(Multimodal RAG)突破了单一文本检索的限制,支持图片、音频、视频、表格等多格式数据的统一检索。在医疗场景中,它可以通过图片 OCR 提取病历信息,结合音频问诊记录生成诊断建议;在教育领域,它能根据学生上传的图片、视频作业以及文本提问,提供综合性的学习指导 ,为用户提供更加丰富和全面的服务。

在架构方面,RAG 正从通用流水线架构向行业定制化架构转变。以网络安全领域为例,针对威胁情报分析、漏洞分析、合规审计等不同场景,RAG 形成了专用的解决方案。在威胁情报分析中,RAG 架构能够快速检索和分析海量的安全日志、威胁情报报告等数据,及时发现潜在的安全威胁;在漏洞分析场景下,它能精准匹配漏洞信息,提供详细的漏洞修复建议 ,满足了行业对专业性和精准性的高要求。

(三)多模态融合与轻量化部署

多模态融合是 RAG 技术发展的一个重要方向,它让 RAG 能够处理更加丰富多样的数据类型。除了传统的文本、表格、图片外,如今的 RAG 已支持 PCAP 流量日志、恶意代码样本、漏洞扫描报告等异构安全数据的解析与检索。在网络安全监测中,通过对 PCAP 流量日志的分析,RAG 可以检测出异常的网络流量模式,结合恶意代码样本的行为描述,准确判断是否存在网络攻击,并及时发出警报 。

在医疗领域,多模态 RAG 同样发挥着重要作用。它可以将患者的 X 光影像、CT 扫描结果等图像数据,与病历文本、医生的音频诊断记录等信息进行融合分析,为医生提供更全面、准确的诊断依据。例如,当分析一位疑似肺部疾病患者的病情时,多模态 RAG 能够同时解读 X 光影像中的肺部阴影特征,以及病历中记录的症状描述和过往病史,帮助医生做出更精准的诊断 。

轻量化部署也是 RAG 技术的一大优势,它能够很好地适配边缘计算与内网隔离需求。在网络安全领域,满足了 “数据不出内网” 的核心诉求。通过支持百亿参数级安全大模型,如 SecLLM、安全版 Llama 3 的本地轻量化部署,企业可以在内部网络环境中安全、高效地运行 RAG 系统 。

在一些对数据安全要求极高的金融机构中,轻量化部署的 RAG 系统可以在内部服务器上运行,对客户的交易数据、账户信息等进行分析和处理,确保敏感数据不会泄露到外部网络。同时,在工业生产中的边缘设备上,轻量化的 RAG 模型可以实时分析设备的运行数据,预测设备故障,实现预防性维护 ,提高生产效率和设备可靠性。

二、RAGFlow 项目实战

(一)项目简介与优势

RAGFlow 是一款备受欢迎的开源 RAG 引擎,基于深度文档理解构建,为用户提供了强大且灵活的检索增强生成能力,支持个人与企业级部署,在自然语言处理领域中展现出独特的魅力。它的设计理念是让用户能够轻松地将 RAG 技术应用到实际项目中,无论是搭建企业内部的智能知识库,还是开发面向客户的智能问答系统,RAGFlow 都能提供有力的支持 。

RAGFlow 具备出色的易用性,其简洁直观的界面设计,使得即使是对技术不太熟悉的用户,也能快速上手。通过简单的操作步骤,用户就能完成从数据上传、模型配置到问答测试的整个流程,大大降低了技术门槛。同时,RAGFlow 还具有高度的可扩展性,它支持多种数据格式和来源,包括文档库、数据库、API 等,能够无缝整合不同来源的数据,满足多样化的业务需求 。

在功能方面,RAGFlow 不断推陈出新。它新增的网络安全专用模板,针对网络安全领域的特殊需求进行了优化,能够更准确地解析和处理网络安全相关的文档,如 CVE/CNVD 漏洞库、安全设备日志、合规条款文档等。通过这些专用模板,RAGFlow 可以自动识别漏洞等级、合规条款编号等关键字段,为网络安全从业者提供更专业、更高效的服务 。

RAGFlow 的异构数据解析能力也十分强大,它能够处理 PCAP 流量日志、恶意代码样本、漏洞扫描报告等多种异构安全数据。对于 PCAP 流量日志,RAGFlow 可以通过协议解析提取关键特征;对于恶意代码样本,它能通过反编译提取行为描述;对于漏洞扫描报告(PDF/Excel 格式),RAGFlow 能够实现自动解析 。这使得 RAGFlow 在网络安全场景中能够全面地分析和利用各种数据,为安全决策提供更丰富的信息支持。

(二)实战步骤详解

接下来,让我们以 Windows 环境为例,详细介绍 RAGFlow 的实战步骤。

首先是环境准备与安装。在 Windows 环境下安装 RAGFlow,需要先启用 WSL 2(Windows Subsystem for Linux 2)。以管理员权限打开 PowerShell,执行以下命令:

wsl --install

自动安装WSL 2与Ubuntu系统

wsl --set-default-version 2

设置默认WSL版本为2

安装完成后重启电脑,然后验证 WSL 状态,执行wsl --list --verbose,当状态显示为 “Running” 时即可 。

接着要安装 Docker Desktop 4.20+,这是运行 RAGFlow 的重要依赖。安装完成后,执行docker run hello-world,如果成功输出相关信息,说明 Docker 安装正常。为了避免磁盘空间不足,建议将 Docker 镜像路径设置为非 C 盘,比如 “D:\Docker\data”。同时,在 Docker Engine 配置中添加国内镜像源,如 “https://hub-mirror.c.163.com” 和 “https://registry.cn-hangzhou.aliyuncs.com”,以加速镜像拉取 。

完成上述准备工作后,就可以拉取并启动 RAGFlow 了。打开命令行,执行以下命令:

git clone https://gitee.com/ragflow/ragflow.git

cd ragflow/docker

进入Docker配置目录

如果需要配置版本,可以编辑.env 文件,将 “RAGFLOW_VERSION=dev” 改为稳定版,比如 “RAGFLOW_VERSION=v1.8.0”。最后,执行docker-compose -f docker-compose.yml up -d,即可在后台启动所有服务。访问 “http://localhost:8080”,如果出现登录界面,说明启动成功,默认账号为 “admin”,密码需根据实际情况获取 。

安装完成后,就可以开始构建企业漏洞知识库了。首先要配置安全专用大模型,这里我们选择本地部署 Ollama 与安全模型。执行ollama pull secllm:7b拉取 7B 参数的安全专用模型,然后执行ollama run secllm:7b启动模型,默认端口为 11434 。

在 RAGFlow 中配置模型时,需要填写以下信息:

模型名称:SecLLM-7B;

基础 URL:http://host.docker.internal:11434(Windows Docker 访问本地 Ollama);

模型标识:secllm:7b 。

登录 RAGFlow 后,点击右上角头像,选择 “模型设置”,再点击 “新增模型”,模型类型选择 “Ollama”,填写上述信息,点击 “测试连接”,显示 “连接成功” 后即可保存 。

接下来准备知识库数据,我们可以下载 CVE 2025 年漏洞库(https://nvd.nist.gov/vuln/data-feds),导出企业内部 Nessus 漏洞扫描报告(PDF 格式),并整理《网络安全法》《数据安全法》合规条款文档 。

上传并解析文档时,点击 RAGFlow 左侧的 “知识库”,选择 “新建知识库”,命名为 “企业漏洞合规知识库”。上传准备好的文档,选择 “网络安全专用解析模板”,然后点击 “开始解析”,系统会自动完成文本分片、向量嵌入与索引构建,这个过程大约需要 5 - 10 分钟,具体时间视数据量而定 。

最后创建安全助理并进行实战问答。点击左侧的 “助理”,选择 “新建助理”,命名为 “漏洞合规问答助理”,选择刚才创建的 “企业漏洞合规知识库” 和 “SecLLM-7B” 模型,并配置提示词模板,比如 “基于提供的漏洞库与合规文档,准确回答用户问题,标注信息来源与可信度评分” 。

现在就可以进行实战问答了。例如,当我们提问 “CVE-2025-1234 漏洞的 CVSS 评分、影响范围及修复方案是什么?”,RAGFlow 会输出包含评分(如 CVSS 9.8)、受影响系统(如 Windows Server 2022)、修复步骤(如安装微软 KB5034441 补丁)的结果,并标注来源为 “NVD 数据库 2025-03-15 公告”。再如,提问 “企业收集用户个人信息时,需遵守《个人信息保护法》的哪些要求?”,RAGFlow 会列出知情同意、最小必要、安全存储等要求,并标注来源为《个人信息保护法》第 13 - 17 条 。

(三)常见问题与解决方法

在 RAGFlow 项目实操过程中,可能会遇到一些问题,下面为大家汇总并提供相应的解决方法。

如果在解析文档时出现异常,比如文档解析卡在 1% 以下,首先点击 “parsing status” 栏旁边的红色叉号,然后重新启动解析过程。如果问题仍然存在且 RAGFlow 是本地部署的,可以检查 RAGFlow 服务器日志,执行docker logs -f ragflow-server,确认其是否正常运行;检查 task_executor.py 进程是否存在;检查 RAGFlow 服务器是否能够访问hf-mirror.com或huggingface.com 。

当遇到内存优化相关问题时,对于 8GB 显存设备,可以采用以下优化方案:

def optimize_vram():

torch.cuda.empty_cache()

with torch.no_grad():

for param in model.parameters():

param.data = param.data.cpu()

torch.cuda.empty_cache()

显存回收增强版

建议在文档加载完成后、向量生成前以及推理结果返回后调用这个函数,以避免内存不足导致进程崩溃 。

如果出现 “Error: Range of input length should be [1, 30000]” 错误,这是由于匹配搜索条件的块太多。可以通过以下步骤解决:点击页面顶部中间的 Chat,右键点击所需对话,选择 “Edit”,再选择 “Prompt engine”,减少 TopN 和 / 或提高 Similarity threshold,最后点击 “OK” 确认更改 。

若无法访问https://huggingface.co,本地部署的 RAGFlow 默认从 Huggingface 下载 OCR 和嵌入模型,若无法访问该网站,会导致 PDF 解析失败并出现类似 “FileNotFoundError: [Errno 2] No such file or directory: ‘/root/.cache/huggingface/hub/models–InfiniFlow–deepdoc/snapshots/be0c1e50eef6047b412d1800aa89aba4d275f997/ocr.res’” 的错误。解决方法是停止所有容器并移除相关资源,进入 ragflow/docker 目录,执行docker compose down;在 ragflow/docker/.env 文件中取消注释 “

HF_ENDPOINT=https://hf-mirror.com”;最后重新启动服务器,执行docker compose up -d 。

三、总结与展望

(一)技术优势总结

RAG 技术以其独特的优势,在自然语言处理领域中开辟了一片新天地。它巧妙地解决了大语言模型长期以来存在的知识滞后问题,通过实时检索外部知识库,让模型在回答问题时能够获取最新的信息。这一特性在金融、医疗等对知识时效性要求极高的领域中,发挥着至关重要的作用。例如,在金融市场瞬息万变的情况下,RAG 技术能够及时检索到最新的金融政策、市场动态等信息,为投资者提供准确的决策建议 。

RAG 技术在数据安全性方面也有着出色的表现。它支持全链路本地部署,从文档解析、向量存储到生成回答,所有环节均在企业内网完成,有效防止了数据泄露的风险,符合《数据安全法》《个人信息保护法》等相关法规的严格要求。对于企业来说,尤其是那些涉及敏感信息的行业,如医疗、金融等,RAG 技术提供了一种安全可靠的解决方案 。

在可解释性方面,RAG 技术让答案更加透明可信。当生成回答时,它会自动关联原始文档片段,标注信息来源,用户可以清晰地追溯答案的出处,验证其准确性。在学术研究领域,研究人员可以通过 RAG 技术快速检索相关文献,并根据标注的信息来源进行深入研究,提高研究效率和质量 。

RAGFlow 作为一款优秀的开源 RAG 引擎,进一步推动了 RAG 技术的落地应用。它提供了简洁易用的操作界面,降低了技术门槛,使得企业和个人开发者能够轻松上手,快速搭建起自己的 RAG 系统。通过 RAGFlow,企业可以高效地构建私有知识库,实现智能问答、知识检索等功能,提升企业的知识管理水平和运营效率 。

(二)未来发展趋势

展望未来,RAG 技术将在多个方向上迎来新的突破和发展。与大语言模型 Agent 的深度融合将是一个重要的趋势。通过这种融合,RAG 系统将具备更强大的自主决策和任务执行能力,能够实现安全事件的端到端自动化处置。在网络安全领域,当检测到网络攻击时,RAG 系统可以自动分析攻击特征,检索相关的安全策略和解决方案,并自动执行相应的防御措施,大大提高了安全响应的速度和准确性 。

多模态检索能力的提升也将为 RAG 技术带来更广阔的应用前景。未来,RAG 系统将能够更精准地处理和检索视频、音频等非文本数据,实现攻击流量可视化分析、恶意代码行为识别等复杂场景的应用。在视频监控领域,RAG 系统可以通过分析视频中的图像和音频信息,实时监测异常行为,如盗窃、火灾等,并及时发出警报 。

构建行业级共享知识库也是 RAG 技术未来发展的重要方向之一。通过整合行业内的各种知识和数据,RAG 系统可以实现漏洞情报、攻击手法等信息的共享和协同防御。在网络安全行业,不同企业可以通过共享知识库,共同应对网络威胁,提高整个行业的安全防护水平 。

RAG 技术正处于快速发展的阶段,它已经在多个领域展现出了巨大的潜力和价值。随着技术的不断进步和应用的深入,相信 RAG 技术将为我们的生活和工作带来更多的便利和创新 。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值