手把手教你用Dify+爬虫搭建专属AI知识库，一键获取公众号内容，支持语义搜索

最新推荐文章于 2025-10-11 10:25:47 发布

原创最新推荐文章于 2025-10-11 10:25:47 发布 · 1.7k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#Dify #大模型 #大模型入门 #大模型学习 #人工智能 #AI大模型 #LLM

前言：

知识库的价值与痛点在AI创作领域，知识库作为核心组件，能有效解决AI幻觉问题（确保输出内容严格遵循知识库依据）。但实际操作中，许多用户面临内容录入的难题：

腾讯的IMA知识库虽支持公众号文章快速导入，但受限于功能设计，仅适用于基础问答场景
人工整理知识库效率低下，难以满足业务需求本文将以教培行业为例，演示如何通过Dify工作流实现：

\1. 自动抓取优质公众号内容

\2. 智能处理并存入知识库

\3. 基于知识库生成高质量教学内容## 准备工作（3个关键步骤）

### 1. 创建知识库- 在Dify控制台新建空白知识库

-记录知识库ID（在浏览器地址栏中，位于datasets和documents路径段之间的值）

### 2. 生成API密钥

- 进入「知识库」→「API」→「API密钥」创建新密钥

- ⚠ 注意：该密钥拥有全知识库操作权限

- 查看「通过文本创建文档」的API请求规范文档

### 3. 集成Firecrawl爬虫服务
1. 从插件市场安装Firecrawl

2. 注册账号获取API Key

\3. 注意：免费版可能限制每日抓取次数或页面数量

## 实战演练：单篇文章抓取

逻辑是从用户的输入内容中提取出网址，接着用Firecrawl去读取页面内容，再用AI提炼出标题和正文，最后存入知识库。

以下就是完整的工作流：

关键技术点：

Firecrawl应对反爬机制：配置浏览器User-Agent头

headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'}

参数提取器：目的是从返回的内容中把标题和正文识别出来。

注意在提示词中要让AI确保还原完整的内容，不要去做任何改动。

内容转义处理：

因为我们要走HTTP请求，对于内容的格式是特别敏感的，防止JSON格式错误。

这里我们直接插入一段代码，把里面的几乎所有特殊符号都做处理。

def main(text: str) -> dict:    return {        'content': text.replace('\\', '\\\\').replace('"', '\\"').replace('\n', '\\n').replace('\r', '\\r').replace('\t', '\\t')    }

HTTP请求：存进知识库

有了内容后，就可以新建HTTP请求节点。

这里有个小技巧，就是把前面API文档里的cURL示例，复制过来，能自动填入

然后点上面的**「鉴权API-Key」**

按下图把知识库的密钥加进去。

测试验证：输入目标文章URL，检查知识库是否成功存入

这就存进知识库了！

版本声明

本文基于 Dify v1.6.0 版本撰写，不同版本的API路径和参数可能略有差异，请以官方最新文档为准

关键技术要点总结

知识库ID定位准确（位于URL路径中的datasets和documents之间）
反爬机制应对关键（配置完整User-Agent头）
内容转义处理必不可少（防止JSON解析错误）

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。