Fastgpt结合Ragflow构建本地表格知识库，效果拉满！【喂饭级教程】

不要只热衷于本地搭建各种知识库 ，搭建之后优化知识库的问答效果才是重中之重！

也关系到你的知识库是否有价值

最近陆续收到一些朋友的提问：Excel该怎么更好的录入fastgpt知识库呢？录入之后知识库问答效果不佳又怎么办呢？

虽然fastgpt支持直接导入Excel，但是如果你姿势不对，导入知识库的数据质量将大打折扣，导致知识库问答效果不佳。

优化知识库的问答效果不是一蹴而就的，需要经过反复调整，反复测试。而且是多维度的优化。

语言模型、索引模型、重排模型、RAG的方式、数据的质量、知识库的参数、大模型的参数等等都会对知识库的问答效果产生影响。

本期将以表格数据为例，先分享在fastgpt知识库搭建的数据预处理阶段，借助ragflow优化知识库数据质量的方案。

PS：是本人多次帮助企业搭建知识库后的一些经验分享，建议收藏~

数据预处理

我们先达成共识，在知识库把数据转换为向量之前，对原始文件做的数据清洗、整理、优化叫做数据预处理

构建知识库的第一关就是数据预处理 —— 把各种非结构化文件转化为结构化数据（或者说提取整理、清洗数据）。为的就是让数据更干净、准确，这步可以说是为好的知识库问答效果打好基础的关键。

比如你手头有各种PDF文档、图片、PPT、网页、Excel等各类资料，要把这些变成AI更容易理解的知识，就需要先做预处理：提取PDF中的文字，识别图片中的文字和内容，整理PPT中的资料等。

如果预处理做得不到位，就可能出现数据缺失、乱码、格式混乱，语意不连贯等问题，这些都会直接影响知识库的问答质量。

虽然各家智能体平台都自带数据预处理功能，但说实话，参差不齐，效果往往也不尽如人意。所以建议大家在上传文件之前，根据需求，先用专业的数据处理工具自行完成预处理（本期要用到的就是ragflow）。

PS：今天的教程以fastgpt为例，同样适用于大部分带有知识库的智能体平台。

结合ragflow优化数据质量

说明：接下来用于知识库测试的表格数据是我从淘宝抓取的3页内存条商品数据，一共90件商品

fastgpt目前有两个地方支持上传表格文件

一个是文本数据集、一个是表格数据集

我更推荐使用表格数据集的方式来上传Excel、CSV这类表格文件

因为亲测直接通过文本数据集的方式上传表格文件，知识库内的数据如下

（有点儿乱）：

使用文本数据集的方式上传Excel表格之后，具体每个chunk（块）数据格式如下（markdown格式）

实测表格数据以这种markdown数据格式保存在知识库，后续知识库问答准确度不高（因为即便rag正确检索，大模型也很容易搞错每列对应的内容）。

下面是多次测试结果中的一个，我的问题是：“需要海盗船品牌的内存条”，但是回答结果里面乱入了海力士，，，

我更推荐使用表格数据集的方式来解析表格文件

不过fastgpt的表格数据集 要求按照指定的模板上传csv，而且只能有两列（模板如下图），是QA的形式，index表示问题列，content表示答案列。

所以这就导致fastgpt看起无法支持多列Excel表格文件，但fastgpt的rag效果本身是非常不错的，问题的根源还是在数据预处理上。

1.借助ragflow的预处理能力

ragflow不管是在数据预处理的选择，还是知识库参数配置上都比fastgpt丰富不少

虽然他两的知识库效果都很棒，但是ragflow的上限应该更高，因为他支持更加精细化的参数调整。

不过对于中小企业来说，在满足需求的前提下，我觉得fastgpt够用了，因为它更简单好用，相较于ragflow更轻量，所需的服务器资源也更少。

我们可以借助ragflow丰富的数据预处理能力，通过曲线救国的方式来帮助fastgpt进行表格文件的数据预处理。

在ragflow的知识库配置这里，解析方式选择Table

在数据集这里，上传本地原始Excel文件，点击解析按钮，直到解析状态变为成功

这时我们点击进入使用ragflow解析好的文件内部

可以看到ragflow把表格内容分了很多块（chunk），每一块代表一行数据，并且列名是在数据前面的，跟fastgpt的解析效果完全不一样，这很重要（能更加清晰明了的展示出，一行中每一列的数据对应的含义）。

并且一行数据在同一个块，使得最终通过向量检索到的数据拥有完整的关联关系。

在上传之前一定要特别重视表格中每一列的列名，不能词不达意，而是需要准确的传达每一列的含义。

不过，有点尴尬的是ragflow并不支持导出处理后的数据（希望后续官方能支持）。

所以我借助了一个叫Easy Scraper的爬虫浏览器插件（免费、简单好用）

可以把页面上展示的数据一键抓取，可选择保存为csv或者json格式

去谷歌插件商店搜索Easy Scraper，一键安装

由于该插件只能抓取页面上展示的数据，咱们先把ragflow数据集这里页面设置，改成最大的100条/页（如下图），因为我的商品是90个，所以刚好一页可以展示全。

PS：如果有几百条数据，可以点击下一页，多采集几次，如果有几千上万条的话不建议使用这个方式

点击右上角Easy Scraper插件图标，它会自动选中当前页面的所有数据，并采集，最后点击弹出的小窗口中的csv下载按钮就OK啦~

下载之后效果如下（把原本的多列数据整合到一列了），我们需要把第一行空出来，增加index，和content列，以适配fastgpt的表格模板。

最后使用fastgpt的表格数据集方式，直接导入即可

导入之后效果如下

亲测表格数据以这样的形式存放到知识库中，由于每个数据都有列名做标注，并且每行数据都在同一个chunk（块）中，表格类型的知识库问答效果直接起飞~

嫌麻烦的朋友也可以使用ragflow云端版本

地址：https://ragflow.io/

还有一种情况是包含分类的表格（如下图）。

有两种方式处理

第一种： 取消单元格合并，后续处理还是跟之前的处理方式一样

当分类不多，每个分类下的数据条数也不多的时候，可以采用第二种方式：

把同一分类下的数据放在同一个块（chunk）中，然后在顶部标明分类名称（如下图）。

避坑指南：分类数据不要像下图这样存放（index存放分类名称，content存放某个分类下的子信息），这样虽然能很方便的根据分类名称检索到该分类下所有的相关信息。但是很难从子信息反过来锁定父级分类。

比如在下图这个案例中，你问：“xxx大学，属于什么招生批次？”

就很难回答准确。

解释：因为fastgpt只对主要内容（index）创建了索引，在进行rag的时候，检索相似度也是通过index部分的语意来判断相似度，所以无法根据辅助数据回溯主要内容。

所以，对于表格数据，最好把相关信息都放到主要内容（index）中，辅助数据中留空即可。

除了表格数据外，其他像pdf、简历、论文等11种场景都可以借助ragflow来预处理~

2.借助AI编程工具进行预处理

当然，还可以借助Trae、Cursor等AI编程工具，快速的编码实现一个小工具，来帮助一键清洗、整理、优化原始数据。

3.借助带有Code Interpreter的AI应用

如果对AI编程不熟悉的朋友还可以借助 带有Code Interpreter（代码解释器）的AI应用实现（比如ChatGPT，Manus等），直接把原始文件丢给它，并描述清楚预期的输出数据格式（最好给示例），它就能快速输出处理好的文件啦。

本期就到这里啦，希望分享的这一点点小心得能够对大家有帮助。

如何零基础入门 / 学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。