网页 URL 转 Markdown API：公开网页、缓存与内容验收

关注

原创 2026-11-11 10:13:33 7 阅读 AI 写同款· GEO 优化 ›

用Accept标头让AI代理直接获取Markdown：内容协商实用指南 HTTP内容协商是客户端与服务端之间的一种协议机制，通过请求头声明期望的响应格式。当AI代理、RAG知识库或网页内容提取工具需要干净的结构化文本时，传统流程往往要先抓取HTML，再清洗标签、脚本噪声，最后转换为Markdown，中间维护成本高且易出错。利用Accept: text/markdown请求头，服务端可直接返回结构清晰的Markdown内容，大幅降低token消耗与解析错误率。该方案适用于大模型驱动的Agent网页工具、知识库入库、批量内容抓取及Markdown渲染链路，配合FastAPI、htt 阅读详情

咕咕数据网页 URL 转 Markdown API 以 GET 接收公开 HTTP 或 HTTPS 网页地址，返回 Markdown 字符串。应用可将结果用于可读归档、搜索和后续摘要，并记录抓取结果来源。

网页 URL 转 Markdown原始封面

请求与参数

请求方法为 GET，示例使用 AppKey 请求头。替换本地占位凭据后再执行。

字段	类型	必填	说明
`url`	查询字符串	是	完整的公开 HTTP 或 HTTPS 网页地址，需要 URL 编码

curl -fsS --get 'https://api.gugudata.com/websitetools/url2markdown' \
  -H 'AppKey: YOUR_APPKEY' \
  --data-urlencode 'url=https://example.com/'

主缓存保留 15 分钟。转换依赖故障时可能回退到保留最多 7 天的结果。若应用要判断内容新鲜度，可用 curl -i 查看数据来源头，看到 last-good 时标注内容可能较旧。

响应与公开样例

先检查 HTTP 请求是否成功，再读取业务状态 DataStatus.StatusCode。业务码 100 时按下表读取结果。

字段	类型	用途
`Data`	字符串	非空 Markdown 文本
`DataStatus.StatusCode`	整数	100 表示业务成功
`X-GuGuData-Data-Source`	响应头	last-good 表示回退到之前成功的结果

下方是 2026 年 11 月 11 日公开 Demo 的响应节选，可直接请求样例核对实际结果。

curl -fsS 'https://api.gugudata.com/websitetools/url2markdown/demo'

{
  "DataStatus": {
    "StatusCode": 100,
    "DataTotalCount": 1
  },
  "Data": "---\ntitle: \"网页 URL 转 Markdown - 咕咕数据 | 专业的数据提供商\"\nmeta:\n  author: gugudata.com\n  description: \"网页 URL 转 Markdown，公开网页转 Markdown，提交公…"
}

接入验收

场景	核对内容
网页可达性	需要登录、存在反爬或依赖复杂动态渲染的页面可能无法转换。
正文质量	检查标题、正文、关键链接和表格，并保存原始 URL。
请求安全	网页地址可能进入访问日志。输入应采用公开且不带访问凭据的链接。

完整参数、返回结构与接口说明见咕咕数据官方 API 文档。