FireCrawl，抓取网页变成Markdown

最新推荐文章于 2025-09-29 15:34:54 发布
原创 最新推荐文章于 2025-09-29 15:34:54 发布 · 1.6k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

没错，这是一个可以抓取网页内容变成markdown文件的工具。

是给大模型构建知识库的一把好手。

它能够抓取单个网页，还能够根据关键词抓取搜索结果网页中的内容。

公众号算法美食屋后台回复关键词：源码，获取本文notebook源码。

核心代码逻辑：

0ce0f0404b09a5f6b613f2046ed0f20a.png

〇，WEB体验

可以在这个工具的网址直接用github账号登录注册使用。

https://www.firecrawl.dev/app/playground

在这个playground页面，丢进去你想抓取的url就可以抓取并下载结果。

每个月每个账号可以免费抓取500个网页页面。


如果你想要更多，很简单，给这个产品打钱 或者 注册多个账号（逃）~

此外，这个产品也是开源的，你也可以在本地部署一套。

bc34d860b65da96507b73c64bd76c304.png

二，Python抓取单网页

首先在这个页面获取api_key

https://www.firecrawl.dev/app/api-keys

然后安装它的Python接口库

pip install firecrawl-py

使用如下代码抓取：

最低0.47元/天 解锁文章
Firecrawl 把任意网站变为 API 接口
wjianwei666的专栏
07-19 2259
firecrawl 是一种 API 服务，它获取 URL、对其进行抓取并将其转换为干净的 markdown 或结构化数据。我们会抓取所有可访问的子页面并为您提供每个子页面的干净数据。无需站点地图。目前 Firecrawl 开源 3周 的时间，已经有了 7.9K 的 star 数，可以说是一个优秀的项目了。
使用FireCrawl轻松进行网站数据抓取和转换
dfvcbipanjr的博客
10-22 920
利用FireCrawl，开发者可以轻松地从网站中获取并转换数据，极大地简化了数据准备过程。FireCrawl官方文档LangChain文档加载器指南。
11.9K Star！强大的 Web 爬虫工具 FireCrawl：为 AI 训练与数据提取提供全面支持
m0_59164304的博客
09-04 2155
是一款开源、优秀、尖端的 AI 爬虫工具，专门从事 Web 数据提取，并将其转换为 Markdown 格式或者其他结构化数据。
Firecrawl - 网站数据抓取与结构化处理工具
AI工程化、开源分享、文档翻译、代码笔记
09-29 823
一、关于 Firecrawl 1、项目概览 2、相关链接资源 3、功能特性 二、核心功能使用 1、网站抓取(Scrape) 2、网站爬取(Crawl) 3、结构化数据提取(Extract) 三、SDK 使用示例 Python SDK Node.js SDK 四、部署选项 五、技术集成
Firecrawl：高效抓取整个网站，为LLM提供丰富数据
Code1994的博客
12-14 3143
当下企业竞相将海量在线数据转化为LLM（大型语言模型）友好的格式，以驱动业务增长和创新。Web抓取和数据提取已成为这一过程中不可或缺的工具。Firecrawl作为一款强大的Web抓取API，以其企业级自动化和可扩展性特性，极大地简化了这一流程。今天我们一起来了解一下Firecrawl。
FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
士多啤梨先生の博客
01-02 4496
FireCrawl 是一款开源的 AI 网络爬虫工具，专为处理动态网页内容、自动爬取网站及子页面而设计，支持多种数据提取和输出格式。
30分钟搭建在线文档问答智能客服
研究AI应用，实践AI增效。
06-23 850
本文介绍了在Dify平台扩展RAG系统的实践，重点完成了知识库同步自Web站点和网页嵌入功能。作者详细演示了使用Firecrawl工具抓取网页内容创建知识库的过程，包括API配置、数据源选择和文本处理。在准确性测试中发现，检索效果受文档收录完整性和"TOPK"参数设置影响，通过调整参数和补充缺失网页可提高准确率。文章强调生产环境中需优化知识库质量和检索配置，并预告后续将深入探讨RAG系统优化。该实践为AI应用开发者提供了可参考的实施方案和问题解决思路。
30 多个带有完整源代码的 MCP 创意
九十分的博客
04-20 1392
如果你有将机密信息安全地传递给容器的需求，请在仓库中提交一个包含你使用场景的问题。其重点在于允许你的代理（在获得人类批准的情况下）控制你的应用程序，传达其正在执行的操作，并为用户生成完全自定义的用户界面。⚡ “给我展示所有高优先级的问题” → 执行 search_issues 工具和/或 linear-user:///{userId}/assigned 来查找分配给你的优先级为 1 的问题。如果你是 ElevenLabs 的新手，它是一个 AI 语音平台，可以根据文本生成逼真的、类似人类的语音。
WEB语义化的新探索：浅析LLMs.txt
ekskef_sef的博客
12-25 1009
LLMs.txt是一个具有特定结构的markdown文件， 由两类文件构成：/llms.txt: 简化的文档导航视图，帮助 AI 系统快速理解站点的结构/llms-full. txt: 在一个包含所有文档的综合文件llms.txt该文件必须以 H1项目名称开始，后面跟着一个描述摘要块。真正的创新在于如何处理内容组织。在初始摘要之后，文件可以包含由 H2标头描述的多个部分。每个部分都包含一个标记超链接列表，可以选择后跟描述性说明。
Firecrawl文档中心：完整使用指南
gitblog_00432的博客
08-30 1184
还在为网页数据抓取和转换而烦恼吗？Firecrawl让这一切变得简单！本文将为你提供从入门到精通的完整指南，帮助你轻松掌握这个强大的网页数据提取工具。 ## ???? 读完本文你将获得 - Firecrawl核心功能全面解析 - 多种语言SDK的详细使用教程 - 实际应用场景和最佳实践 - 高级功能的深度探索 - 常见问题解决方案 ## ???? Firecrawl是什么？ Firecrawl是一...
爬虫工具：Firecrawl
meiyoudianhuafei的博客
02-11 2079
Firecrawl 是一种 API 服务，它获取 URL、对其进行抓取并将其转换为干净的 markdown。我们会抓取所有可访问的子页面，并为每个子页面提供干净的 markdown。无需站点地图。
LLMs之Firecrawl：Firecrawl的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-07 1万+
​ LLMs之Firecrawl：Firecrawl的简介、安装和使用方法、案例应用之详细攻略 目录 Firecrawl的简介 Firecrawl的安装和使用方法 Firecrawl的案例应用 Firecrawl的简介 2024年9月发布，Firecrawl是一个API服务，能够将任何URL的整个网站转换为LLM友好的Markdown或结构化数据。它能够抓取所有可访问的子页面，并为每个页面提供干净的数据，无需站点地图。Firecrawl具备先进的抓取、爬
【开源项目-爬虫】Firecrawl
小狼碎碎念的博客
03-12 1257
很火的开源爬虫项目分享：Firecrawl
Firecrawl 部署安装及 Dify 调用（保证好使）
热门推荐
JovaZou的成长之路
03-17 1万+
Firecrawl 是一个可以提供 API 服务的开源爬虫工具，我们只需要给它一个 URL，无需提供网站地图（sitemap），它就能抓取该 URL 的当前网页或更深层的网页，并可以把抓到的数据转变成 markdown 格式，这种格式更适合 LLM 阅读，在当今的 AI 浪潮下可以说是非常适合了。
Github 星标 11.9K：强大的 Web 爬虫工具 FireCrawl，为 AI 训练与数据提取提供全面支持！...
easylife206的专栏
09-25 4619
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！在这个信息爆炸的时代，数据就是力量。尤其是对于开发者来说，获取并利用好数据，就意味着拥有更多的主动权和竞争力。无论是用来训练大语言模型，还是用于增强检索生成（RAG），数据都扮演着至关重要的角色。而在这样一个数据为王的环境下，能够高效地抓取网页数据的工具就显得尤为重要了。今天我想和大家分享一款我最近发现的宝藏开源工具...
FireCrawl开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
2401_84052244的博客
02-05 3905
FireCrawl 是一款开源的 AI 网络爬虫工具，专门用于 Web 数据提取，能够将网页内容转换为 Markdown。功能，利用大型语言模型快速完成数据提取，适用于大模型训练、检索增强生成（RAG）、数据驱动开发项目等多种场景。它具备强大的抓取能力，支持动态网页内容的处理，并提供智能爬取状态管理和多样的输出格式。FireCrawl 集成了 LLM Extract。
firecrawl Scrape 抓取 markdown 输出数据格式化输出比如换行
最新发布
11-11
<think>我们正在讨论的是如何使用Firecrawl的Scrape功能抓取Markdown数据，并对其进行格式化输出（特别是换行处理）。 根据之前的对话，我们知道Firecrawl的scrape_url方法可以通过设置`extractorOptions`的`mode`为'markdown'来获取Markdown格式的内容。 但是，用户提到“格式化输出（如换行）”，这意味着用户可能对Markdown中的换行处理有特定需求。 在Markdown中，换行可以通过两种方式实现： 1. 在行尾添加两个空格，然后换行（这是传统的Markdown换行方式）。 2. 或者直接使用一个空行来开始一个新的段落（即两个换行符）。 用户可能希望控制换行的格式，例如确保每行不超过一定长度，或者希望保留原始网页中的换行结构。 解决方案： 1. 首先，我们通过Firecrawl获取Markdown内容。 2. 然后，对获取的Markdown字符串进行后处理，以满足特定的换行要求。 具体步骤： a. 使用Firecrawl的scrape_url方法获取Markdown内容。 b. 根据需求，我们可以对返回的Markdown字符串进行格式化，特别是调整换行。 例如，如果我们希望确保每个段落内的换行都使用两个空格（以便在渲染时产生换行而不是新段落），我们可以： - 将每个段落内的换行符替换为两个空格加一个换行符（但这可能不是必需的，因为原始Markdown可能已经这样处理了） - 或者，如果我们希望增加段落之间的空行（使段落更清晰），我们可以在段落之间添加额外的换行符。 但是，请注意：Firecrawl返回的Markdown内容已经保留了原始网页的段落结构。如果用户希望进一步调整换行，我们可以进行字符串处理。 另外，用户可能希望按照一定的宽度（例如每行80个字符）进行换行，这可以通过文本换行工具实现。 具体代码示例： 第一步：获取Markdown内容 ```python from firecrawl import FirecrawlApp app = FirecrawlApp(api_key="YOUR_API_KEY") response = app.scrape_url( url='https://example.com', params={ 'extractorOptions': { 'mode': 'markdown' # 获取Markdown格式 } } ) markdown_content = response['data']['markdownContent'] # 假设返回的数据结构中有这个字段 ``` 第二步：格式化换行 我们可以使用Python的textwrap模块来重新格式化文本，但注意：Markdown中的代码块、列表等不应该被普通的换行打断。因此，我们需要小心处理。 如果我们只是对普通段落进行换行，可以尝试以下方法： 然而，更安全的方法是使用一个能够理解Markdown结构的库，比如`mdformat`，但这样可能会改变整个文档的格式。 如果用户只关心普通文本的换行，我们可以将文本分割成段落（根据空行分割），然后对每个非代码块、非列表的段落进行换行处理。 由于完整的Markdown换行处理比较复杂，这里提供一个简易版本，仅处理普通段落： ```python import textwrap def format_markdown_lines(markdown_text, width=80): # 我们将整个文本按行分割 lines = markdown_text.split('\n') formatted_lines = [] # 标记当前是否在代码块中 in_code_block = False for line in lines: # 检测代码块开始或结束 if line.strip().startswith('```'): in_code_block = not in_code_block formatted_lines.append(line) continue if in_code_block: formatted_lines.append(line) # 代码块内的行不处理 else: # 如果不是代码块，且该行不是空行（表示段落分隔），并且不是标题、列表等（简易判断：以#、-、*开头的行跳过） if line.strip() == '' or line.startswith('#') or line.startswith('-') or line.startswith('*') or line.startswith('>') or line.startswith('1.'): formatted_lines.append(line) else: # 否则，我们对这一行进行换行处理（注意：这里假设一行就是一个段落，但实际上一个段落可能由多行组成，中间用两个空格结束） # 更严谨的做法是先按段落合并，但这里简化：将每一行都当作一个段落来处理（这样可能不对，因为段落可能是多行组成的） # 因此，我们改为：将连续的普通文本行合并成一个段落，然后再进行换行 # 由于这个方法比较复杂，我们可以采用另一种思路：整个文本按空行分割成段落，然后对每个段落进行换行 pass # 由于上面逐行处理比较复杂，我们可以重新组织：先按空行分割成段落 # 但注意：代码块内可能有空行，所以我们上面的方法实际上更安全。因此，这里我们采用一个折中方案：只对非代码块且非特殊Markdown语法的行进行换行，但保留原始换行（即不改变段落内的换行） # 其实，用户可能只是希望在某些地方增加换行，比如在句子之间确保有换行，但原始Markdown可能已经用两个空格加换行表示了。 # 因此，如果用户只是希望将整个文本的换行统一（例如，将每个段落内的换行都去掉，然后按指定宽度重新换行），那么我们可以： # 将整个文本分割成段落（注意：连续的非空行组成一个段落，空行分隔段落） # 但是，这样会破坏代码块。所以，我们使用上面的标记方法，只对非代码块段落进行处理。 # 由于完整的实现较为复杂，我们可以考虑使用第三方库，例如`mdformat`，但这里不展开。 # 如果用户的需求只是简单的调整行宽，我们可以忽略Markdown语法，但这样会破坏格式。 # 因此，我们提供一个简单的备选方案：不对Markdown进行格式化，而是将其转换为纯文本，然后对纯文本进行换行。但这样会丢失格式。 # 考虑到用户的需求可能是为了更好的可读性，我们可以将Markdown渲染为纯文本（去掉Markdown标记），然后重新换行。 # 但是，这显然不是用户想要的，因为用户需要Markdown格式。 # 因此，我们建议：如果只需要调整普通段落的行宽，可以尝试以下方法（注意：这会破坏原有的换行，可能不适合有表格、列表等复杂结构的情况）： # 重新将Markdown内容按段落分割，然后对每个普通段落使用textwrap.fill # 注意：我们只处理那些不以任何Markdown特殊字符开头的行（即普通段落） # 由于时间关系，这里提供一个简易的段落换行处理（不处理代码块、列表等）： paragraphs = markdown_text.split('\n\n') # 用两个换行符分割段落 formatted_paragraphs = [] for para in paragraphs: # 如果段落是代码块、列表等，跳过 if para.startswith('```') or para.startswith('-') or para.startswith('*') or para.startswith('#') or para.startswith('>') or para.startswith('|'): formatted_paragraphs.append(para) else: # 将段落内的换行符替换为空格，合并成一行，然后重新按宽度换行 para = para.replace('\n', ' ') # 移除段落内原有的换行 # 使用textwrap.fill进行换行 wrapped_para = textwrap.fill(para, width=width) formatted_paragraphs.append(wrapped_para) return '\n\n'.join(formatted_paragraphs) formatted_markdown = format_markdown_lines(markdown_content, width=80) ``` 但是，请注意：这种方法会破坏非普通段落（如列表、代码块）的结构。因此，我们需要更精细的处理。 实际上，对于复杂的Markdown文档，建议使用专门的Markdown格式化工具，例如`mdformat`或`prettier`。 在Python中，我们可以使用`mdformat`库，但它不支持按指定宽度换行（它主要按照Markdown规范格式化，比如确保列表前有空行等）。 因此，如果用户的需求是调整行宽，我们可以这样建议： 1. 使用Firecrawl获取Markdown内容。 2. 如果需要对普通段落进行换行调整，可以使用上述简易方法（但需注意风险）。 3. 或者，将Markdown转换为纯文本，调整换行后再转回Markdown？这通常不可行，因为会丢失格式。 另外，用户可能只是希望保留原始网页中的换行，但Firecrawl返回的Markdown已经保留了有意义的换行（比如段落内使用两个空格表示换行，段落之间用空行分隔）。如果用户希望增加换行，可以在后处理中替换某些标点或添加换行符。 例如，在句号后添加一个换行符（两个空格加一个换行符）以实现每个句子一行： ```python # 注意：这个方法可能会破坏一些缩写（如Mr.）和数字（3.14） formatted_markdown = markdown_content.replace('. ', '. \n') ``` 综上所述，根据用户的具体需求，我们提供不同的换行格式化方案。 鉴于用户的问题比较宽泛，我建议： - 如果用户希望调整行宽：使用上述段落分割后重新换行（但注意避开代码块等特殊结构）。 - 如果用户希望每个句子换行：可以用替换句号的方法（但需谨慎）。 - 如果用户希望保留原始格式，则不需要额外处理。 最后，给出一个综合示例，包括获取Markdown和进行简单的换行处理（按句子换行，但避免在缩写后换行）： ```python import re # 获取Markdown内容 # ...（同上） # 按句子换行，但排除一些常见缩写 def split_sentences_with_exceptions(text): # 使用正则表达式分割句子，但排除一些情况 # 规则：句号后跟空格或行尾，且前面不是缩写 abbreviations = ['Mr', 'Mrs', 'Dr', 'Prof', 'etc', 'e.g', 'i.e'] # 可以扩展 pattern = r'(?<!\b(?:' + '|'.join(abbreviations) + '))\.(\s|\n|$)' # 替换为：句号后跟两个空格和换行符（如果是空格或换行符），如果是行尾则不变 def replace_func(match): # 如果匹配到的是句号后跟空格或换行符，则替换为句号+两个空格+换行符 if match.group(1).isspace() or match.group(1)=='\n': return '. \n' else: return '.' + match.group(1) result = re.sub(pattern, replace_func, text) return result formatted_markdown = split_sentences_with_exceptions(markdown_content) ``` 注意：这个方法仍然不完美，因为自然语言处理句子边界是一个复杂问题。 因此，我们建议用户根据实际需求选择合适的后处理方法。 总结步骤： 1. 获取Markdown内容。 2. 根据具体需求设计后处理逻辑（如调整行宽、按句子换行等）。 3. 应用后处理逻辑。 注意：由于Markdown格式的复杂性，处理时需谨慎，避免破坏原有结构。 相关问题： 1. Firecrawl返回的Markdown中如何处理表格和代码块的格式？ 2. 如何避免在缩写词（例如“Mr.”）后错误换行？ 3. 有没有现成的Markdown格式化工具推荐？ 4. 如何保留原始网页中的图片链接在Markdown中？ 5. Firecrawl能否在抓取时直接按指定格式换行？[^1][^2][^3] </think>以下是针对 Firecrawl Scrape 抓取 Markdown 数据后进行格式化输出（特别关注换行处理）的完整解决方案，结合引用文档和最佳实践： ### 一、核心格式化方法 #### 1. 基础换行控制（Python示例） ```python from firecrawl import FirecrawlApp import re app = FirecrawlApp(api_key="YOUR_API_KEY") response = app.scrape_url( url='https://example.com', params={'extractorOptions': {'mode': 'markdown'}} ) # 获取原始Markdown内容 raw_md = response['data']['content'] # 或 'markdownContent' 根据API版本 # 换行格式化处理 formatted_md = re.sub(r'(\n{3,})', '\n\n', raw_md) # 压缩多余空行 formatted_md = re.sub(r'([^\n])\n([^\n])', r'\1 \n\2', formatted_md) # 强制单换行转双空格 formatted_md = formatted_md.replace('\\n', '\n') # 处理转义换行符 print(formatted_md) ``` > **关键点**： > - 使用正则表达式规范化换行符间距 > - 强制单换行转换为Markdown标准`双空格+换行`格式[^1] > - 处理API返回的转义字符`\\n` #### 2. 高级格式化技巧 ```python # 段落首行缩进（中文排版优化） formatted_md = re.sub(r'(\n)([^\n#*->])', r'\1　　\2', formatted_md) # 全角空格缩进 # 列表项换行对齐 formatted_md = re.sub(r'(\n\s*[-*+] )', r'\n\n• ', formatted_md) # 统一列表符号 # 代码块保留原始换行 formatted_md = re.sub( r'```(.*?)```', lambda m: m.group(0).replace(' \n', '\n'), formatted_md, flags=re.DOTALL ) ``` ### 二、原生API参数控制（推荐） 通过API参数直接优化输出格式： ```python response = app.scrape_url( url='https://example.com', params={ 'extractorOptions': { 'mode': 'markdown', 'formatting': { 'normalizeWhitespace': True, # 标准化空白字符 'preserveLineBreaks': True, # 保留原始换行 'indentation': 'spaces' # 缩进方式 } } } ) ``` > **参数说明**： > - `normalizeWhitespace`: 自动合并多余空白/换行符 > - `preserveLineBreaks`: 保留段落内换行但不增加空行 > - `indentation`: 可选`spaces`/`tabs`控制缩进风格[^2] ### 三、LLM辅助格式化 ```python response = app.extract( url='https://example.com', params={ 'extractorOptions': { 'prompt': ''' 格式化要求： 1. 段落间空一行分隔 2. 列表项使用标准Markdown符号 3. 代码块保留原始换行 4. 中文内容使用全角空格缩进 ''' } } ) formatted_content = response['data']['llmExtraction'] ``` ### 四、输出效果对比 | **原始输出** | **格式化后** | |--------------|--------------| | `文本行1\n文本行2` | `文本行1 \n文本行2` | | `段落1\n\n\n段落2` | `段落1\n\n段落2` | | `- item1\n-item2` | `• item1\n• item2` | | `代码\n行1\n行2` | `代码\n行1\n行2` | ### 五、格式化原理 Firecrawl 的 Markdown 转换器基于以下技术： 1. **AST解析**：将HTML转换为抽象语法树 2. **块级元素处理**：段落/标题/列表自动添加`\n\n`分隔 3. **行内元素保留**：保持`<br>`转换为` \n`的标准 4. **空白压缩算法**：移除连续多余空白$S = \{s|s \in whitespace, count(s) > 1\}$[^3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值