Html 转为 MarkDown

在 RAG 中,通常需要将 HTML 转为 Markdown,有很多第三方 API 都支持 HTML 的转换,本文使用一个代码文档的例子 https://www.joinquant.com/help/api/help#name:Stock,将聚宽 API 转为 Markdown。本文通过两种方式进行实现,使用收费和开源的解决方案。聚宽 API 格式转为 Markdown
在这里插入图片描述

Firecrawl

使用 Firecrawl API 处理 HTML,登录并直接在网页输入网址

https://www.joinquant.com/help/api/help#name:Stock

在这里插入图片描述
预览这个转换之后的 Markdown,效果非常好。
在这里插入图片描述

Scrapy

Scrapy 是个开源的爬虫类库,支持 playwright 类库,playwright 主要用于爬取 SPA 页面。页面抓取完成之后,通过 tra

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值