llms.txt：为大模型打造的“网站说明书”

原创 于 2025-10-02 18:06:17 发布 · 732 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #python #llm #开发者工具

一、什么是 llms.txt？

llms.txt 是由 Jeremy Howard 于 2024 年 9 月 3 日提出的一项开放性提案，旨在为网站提供一个标准的、机器可读的入口，专门用于帮助大语言模型在推理（inference）阶段更有效地理解网站内容。

简要介绍一下Jeremy Howard，他目前是answer.ai的创始首席执行官，早年间曾参与Perl语言的开发，后来担任Kaggle 的总裁兼首席科学家，同时也是fast.ai的联合创始人，有意思的是，他还运用间隔重复学习法，仅用一年时间就掌握了实用的中文技能。可以看到他是个技术大牛，同是也是一个非常重视理论和实践相结合的人。这是他的Github主页：https://github.com/jph00

llms.txt的核心理念

  • 和robots.txt不同：robots.txt 文件是告诉搜索引擎爬虫“哪些页面可以抓取，哪些页面不能爬取”，llms.txt 文件则是告诉 LLM “哪些信息对理解这个网站最有价值”。
  • 类比sitemap.xml：类似于sitemap.xml，llms.txt提供的是网站内容和链接的索引，但和sitemap.xml不同的是，它不试图提供整个网站的内容，而是提供一个精心策划的、结构化的信息摘要和关键链接列表，帮助 LLM 快速构建对网站的理解。
注意事项：llms.txt的作用到底是什么？

如果你询问一些大模型llms.txt的作用是什么，它很可能告诉你这是用来告诉大模型是否允许抓取网站数据用于训练的文件，类似于robots.txt控制爬虫权限，甚至在搜索引擎中搜索这方面的内容时，一些博客文章也会这么说。我原本以为存在两个相互不兼容版本的llms.txt，一个版本是用于帮助大模型在推理阶段理解网站内容，一个版本是用于控制大模型抓取训练数据的权限。

经过我进一步的深入搜索，这个第一个版本，即用于帮助大模型在推理过程中理解网站内容，来源是非常清晰的，有对应的官方网站和对应的Python工具包，规范的起草人也很明确是Jeremy Howard。

但是第二个版本，完全找不到其定义的来源，只有零星的一些个人博客文章在介绍，而且我特意搜索了一下如何控制AI抓取网站内容的权限，大量的文章都说直接在robots.txt中添加限制Agent就行，既然robots.txt就可以限制，那llms.txt再限制不就是纯属多此一举？因此我合理怀疑这是大模型幻觉生成的内容，并且被一些人以讹传讹写成了技术博客在互联网上传播，甚至污染了更多的大模型。

这件事也让我更加警醒，对于大模型生成的内容，需要非常谨慎地进行鉴别，尤其是技术性的内容，一旦错误的信息开始传播，很可能导致病毒性的蔓延乃至污染了整个互联网。

二、为什么需要 llms.txt？

1. 现有方案的局限性

站点地图（Sitemap.xml）

站点地图是用于搜索引擎优化（SEO）的技术手段，其列出了网站的所有页面，但它并不适合大模型读取，因为它：

  • 通常不包含适合 LLM 阅读的纯文本版本。
  • 不包含对理解网站有帮助的外部资源链接。
  • 内容总量往往远超 LLM 的上下文窗口限制。
直接抓取 HTML

现代网页的 HTML 结构复杂，包含大量非核心内容，提取有效信息困难且不准确。

2. llms.txt 的优势

  • 上下文优化：通过提供精炼的摘要和精选链接，显著减少 LLM 需要处理的无效信息。
  • 结构化导航：明确的章节划分（如“文档”、“示例”、“可选”）帮助 LLM 快速定位所需信息。
  • 支持动态扩展：llms.txt 本身只是一个“目录”，它可以指向其他 .md 文件，这些文件是原始网页的 Markdown 版本，内容更纯净、更适合 LLM 解析。

三、llms.txt 文件格式详解

一个符合规范的 llms.txt 文件位于网站的根路径或其他可选的子路径下，例如 https://vuejs.org/llms.txt，https://fastht.ml/docs/llms.txt（这两个链接都可以真实访问），其结构遵循严格的 Markdown 格式：

1. 必需部分

  • H1 标题：以 # 开头，表示项目或网站的名称。这是唯一必需的字段。
    # FastHTML
  • 引用摘要：以 > 开头的引用块，提供对项目/网站的简短描述，包含理解后续内容所需的关键信息。
    > FastHTML is a python library which brings together Starlette, Uvicorn, HTMX, and fastcore's `FT` "FastTags" into a library for creating server-rendered hypermedia applications.

2. 可选但推荐的部分

  • 详细信息段落：在 H1 和第一个 H2 之间，可以包含任意数量的普通段落、列表等，用于补充说明。

    Important notes:
- Although parts of its API are inspired by FastAPI, it is *not* compatible with FastAPI syntax...
- FastHTML is compatible with JS-native web components and any vanilla JS library...

  • H2 分节列表：以 ## 开头的二级标题，每个标题代表一个信息类别（如“Docs”、“Examples”）。其后是一个 Markdown 列表，每项包含一个链接和可选的描述。

    ## Docs
- [FastHTML quick start](https://fastht.ml/docs/tutorials/quickstart_for_web_devs.html.md): A brief overview of many FastHTML features
- [HTMX reference](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): Brief description of all HTMX attributes...

3. 特殊的 “Optional” 节

  • 如果存在名为 ## Optional 的章节，其中列出的链接被认为是非核心信息。
  • 当 LLM 的上下文窗口紧张时，可以优先跳过这些内容，以保证核心信息的完整加载。

下图是fastHTML项目的llms.txt文件，其遵循了标准的格式规范：

image

四、技术实现与工具链

llms.txt 不仅仅是一个静态文件，它背后有一整套工具链来支持其落地。

1. Markdown 版本的网页

提案建议，网站上所有对 LLM 有价值的页面，都应提供一个纯净的 Markdown 版本。规则如下：

  • 原始 URL 为 https://example.com/docs/tutorial.html，则其 Markdown 版本应为 https://example.com/docs/tutorial.html.md。
  • 对于没有文件名的 URL（如 https://example.com/docs/），Markdown 版本为 https://example.com/docs/index.html.md。

这确保了 LLM 获取的是最干净、最结构化的文本内容。

2. Python 工具：llms-txt 模块

官方提供了 llms-txt Python 包，用于解析 llms.txt 文件并生成适合 LLM 的上下文。

安装
pip install llms-txt
CLI 使用
# 将 llms.txt 转换为 XML 格式的上下文，并输出到标准输出
llms_txt2ctx llms.txt > llms.md

# 包含 "Optional" 部分
llms_txt2ctx llms.txt --optional True > llms-full.md
Python API 示例
from llms_txt import parse_llms_file, create_ctx
from pathlib import Path

# 读取文件
samp = Path('llms.txt').read_text()

# 解析文件，得到结构化数据
parsed = parse_llms_file(samp)
print(parsed.title)  # 输出: FastHTML
print(list(parsed.sections))  # 输出: ['Docs', 'Examples', 'Optional']

# 生成 LLM 可用的 XML 上下文
ctx = create_ctx(samp)
print(ctx[:300])  # 查看生成的上下文前300字符

五、在实际项目中的实践

llms.txt已经在一些实际网站项目中得到了应用，此处列举出一些知名网站中的应用。

FastHTML

FastHTML是一个旨在用Python语言开发完整的HTML应用的产品，也正是llms.txt规范的起草人Jeremy Howard创办的answer.ai旗下的产品，因此其很早就采用了 llms.txt。该项目的文档网站不仅提供了 llms.txt 文件，还为每个页面生成了Markdown版本。下图即展示了其文档网站的主页对应的Markdown版本：

image-1

Supabase

Supabase 基于PostgreSQL提供了在线数据库服务，同时也是一个全功能的后端服务平台。通过 Supabase，开发人员不再受限于传统的前后端分离模式，无需编写复杂的后端逻辑，可以直接在前端代码中进行数据库操作。

image-2

Vue.js 生态系统

2025年5月，前端框架领域的领军人物尤雨溪（Evan You）宣布，Vue.js、Vite 和 Rolldown 等核心项目均已添加 llms.txt 文件，这对于llms.txt的推广注入了一剂强心针。

image-3

六、如何为自己的网站自动生成llm.txt文件？

vitepress-plugin-llms

vitepress-plugin-llms 是一个专为 VitePress 文档网站设计的插件，它可以自动生成 llms.txt 和 llms-full.txt 文件，让你的 VitePress 文档更好地被 AI 工具理解和索引。该插件也被尤雨溪推荐过:

image-5

项目地址如下：https://github.com/okineadev/vitepress-plugin-llms

llms-txt.io

https://llms-txt.io/ 这个项目可以帮助你生成自己的网站对应的llms.txt文件，只要输入网址即可自动生成。

image-4

七、如何查找更多采用 llms.txt 的网站？

随着 llms.txt 的普及，社区正在建立专门的目录来追踪和展示采用该标准的网站，一些我搜集到的网站如下：

llmstxthub.com：一个综合性的中心，提供指南、工具和网站目录。
directory.llmstxt.cloud：一个实时更新的数据库，收录了全球范围内已知的 llms.txt 实例。
llmstxt.site：另一个社区驱动的目录。

aopstudio
关注
大语言模型原理基础与前沿 Scaling Law 规模法则（扩大尺度法则）
AI天才研究院
07-06 1639
近年来，大语言模型（Large Language Models，LLMs）在自然语言处理（Natural Language Processing，NLP）领域取得了突破性进展。从GPT（Generative Pre-trained Transformer）系列到BERT（Bidirectional Encoder Representations from Transformers），再到最近的ChatGPT，大语言模型不断刷新着我们对人工智能能力的认知。这些模型之所以能够在各种NLP任务中表现出色，很大程度
【LangChain编程：从入门到实践】模型备选服务
AI天才研究院
06-07 449
【LangChain编程：从入门到实践】模型备选服务 1. 背景介绍 1.1 LangChain的兴起 近年来，随着大语言模型(LLM)的快速发展，如何更好地利用LLM进行应用开发成为了业界关注的焦点。Lang
WEB语义化的新探索：浅析LLMs.txt
我相信......
12-15 2600
【引】有人迷恋使用大模型生成各种有趣的内容，有人沉醉于大模型相关技术的探索，没有对错，只在于你的乐趣所在。一项名为 llms.txt 的新提案标志了一些非同寻常的东西的出现: 一个Web网站不仅为人类读者服务，而且为人工智能提供服务。这不仅仅是一种新的技术标准，而是我们对数字基础设施的看法发生根本性转变的开始。robots.txt 和 sitemap.xml 是为搜索引擎设计的，而 LLMs.t...
LLMs.txt：让大模型更懂你的 Web 文档
Baihai_IDP的博客
04-11 1413
然而，它们在处理网站内容时往往受限于有限的上下文窗口，加上 HTML 页面中大量非核心内容的干扰，导致理解效率低下。随后，越来越多的由 Mintlify 托管的文档开始采用这一标准，为 LLMs.txt 的提议创造了一波知名度。与 /llms.txt 仅提供导航视图和文档结构不同，/llms-full.txt 包含了全部的文档内容，这些内容都是用 markdown 编写的。目前，LLMs.txt 提供了一个切实有效的解决方案，帮助 AI 系统更深入地理解和运用网络资源，特别是在技术文档和 API 领域。
生成式引擎优化（GEO）重要工具——llms.txt 文件
GEOyouhua的博客
04-22 1185
llms.txt 是生成式引擎优化（GEO）的重要工具，尤其适合希望深度参与生成式内容生态的企业或平台，其核心价值在于：从“被动被爬取”转向“主动优化内容供给”。
llms.txt文件
Criss@陈磊
03-10 545
目前llms.txt并没有收到普板的认可，并且在网站根目录创建。目前推荐创建llms.txt文件就可网站下面的robots.txt一样（robots.txt是告诉搜索引擎网站中那些部分可以被爬虫访问），llms.txt 是一套专门给大语言模型使用的，用于收集的网站中简洁干净的纯文本信息以帮助大模型在推理时使用网站的标准化提案。下面是mcp官网下的llms.txt，可以提供参考（https://modelcontextprotocol.io/llms-full.txt）
LLMs.txt是什么?有哪些平台支持它
weixin_45017726的博客
04-28 227
LLms.txt 是一个 Markdown 格式的文本文件，放在网站根目录，里面索引了网站内所有可供 LLM（大模型）处理的 Markdown 页面。此外，它还可简要描述每个页面内容、用途以及相关属性。目前已支持使用 llms.txt，你可以在“在线文档”中使用，例如。就启用了 llms.txt。
一篇文章学会大模型【魔搭社区教程】【本地部署通义Qwen2大模型：配置+微调+部署，带你训练自己的行业大模型！】【源代码】【已经解决天坑】【程序员猫爪】
程序员猫爪
12-25 3018
一篇文章学会大模型【魔搭社区教程】【程序员猫爪】【本地部署通义Qwen2大模型：配置+微调+部署，带你训练自己的行业大模型！】【已经解决天坑】
【模型之美】6、LlamaIndex：用AI构建企业级知识库
RickyIT的专栏
07-25 1137
LlamaIndex是一个连接大语言模型与外部知识库的智能系统，解决传统文档处理的三大痛点：上下文断裂、语义缺失和长度限制。它通过"分块-索引-检索-生成"四步流程，实现百万级文档的语义理解与精准问答。核心技术包括：1）支持20+格式的多源文档加载；2）智能分块策略保持语义连贯；3）向量索引构建文档语义地图；4）问答引擎实现精准检索与回答生成。相比传统文档搜索，LlamaIndex具备处理多模态数据、跨章节语义关联和自动生成答案等优势，适用于企业知识库、技术文档分析等场景。
AI原生应用领域检索增强生成：打造个性化知识服务
AIGC应用创新大全的博客
05-14 820
本文旨在全面解析检索增强生成(Retrieval-Augmented Generation, RAG)技术在AI原生应用中的应用，特别聚焦于个性化知识服务场景。我们将探讨从基础概念到系统实现的全过程，包括技术选型、架构设计和性能优化等方面。文章首先介绍RAG的核心概念，然后深入技术实现细节，包括算法原理、数学模型和实际代码示例。接着探讨应用场景和工具推荐，最后展望未来发展趋势。每个部分都配有易于理解的类比和可视化图表。AI原生应用：以人工智能为核心能力设计和构建的应用程序检索增强生成(RAG)
什么是LLMs.txt？如何在线生成？robots.txt一键转LLMs.txt
qq_17324713的博客
07-23 1028
LLMs.txt是专为AI系统设计的新型网络访问控制文件，类似于传统robots.txt，但针对大型语言模型(LLMs)的内容采集需求。它允许网站所有者精准控制AI对内容的访问权限，保护版权内容不被无偿用于训练。本文介绍了LLMs.txt的规范标准、商业价值及发展现状，推荐了实用生成工具（如https://www.pdftool.cc/zh/llms-txt-generator），并详解了从robots.txt一键转换的方法。随着AI技术普及，LLMs.txt将成为网站标配，帮助平衡AI发展与内容保护。
AI 读不懂你的技术博客？也许只差一个 llms.txt
最新发布
qq_31647491的博客
08-05 961
本文介绍了llms.txt这一新兴标准，它通过结构化文档内容帮助AI工具更准确地理解网站信息。文章首先解释了llms.txt的概念和作用，对比了其与robots.txt的区别，并介绍了vitepress-plugin-llms插件的安装和使用方法。重点展示了该插件在Wot Design Uni项目中的实际应用，包括部署流程和带来的四大优势：提升文档可发现性、增强用户体验、减少AI误解以及扩大项目影响力。最后指出，随着AI技术的发展，llms.txt标准将帮助文档在AI时代保持更好的可访问性。
尤雨溪：让 AI 更好的理解 Vue、Vite
奇舞周刊
05-08 486
还很新，但它提供了一个标准化的方法，让 AI 能更好地和网站内容互动，潜力不小。这个文件的主要想法，是给 LLM 提供一个“浓缩版”的网站内容介绍，帮助 AI 更快、更准地理解网站信息。会去掉导航菜单、广告、复杂的脚本这些干扰项，只留下最核心、简洁的内容给 AI 看。：像电商网站的产品介绍、在线课程的资料、个人博客等等，内容更清晰总归是好事。：核心文件，是个简化的导航，告诉 AI 网站大概有什么内容，重点在哪里。：专门为 AI 设计的，提供优化过的内容结构，方便 AI 理解和处理。
探秘llms.txt：让大型语言模型识别网站变得更简单，借力AI提升流量
easeyoo的专栏
05-09 923
随着人工智能技术的快速发展，大型语言模型（LLMs）在内容生成和数据抓取中扮演着重要角色。llms.txt应运而生，成为网站与AI模型之间的关键沟通工具。类似于robots.txt，llms.txt通过文本文件的形式，帮助网站管理员声明内容的使用权限、分类和版权信息，确保数据使用的合规性和安全性。它的主要功能包括明确内容权限、提供分类标签、促进数据透明度以及保护网站版权和隐私。 部署llms.txt不仅有助于保障网站权益，还能优化AI模型对内容的理解，提升数据交互的准确性，进而增加网站的流量和转化率。通过工
LLMs.txt：AI时代网站的“智能身份证“
欢迎关注公众号“雨林寻北”，添加个人微信codetrend（备注技术）。
08-04 467
当AI模型因HTML冗余代码浪费50%上下文窗口时，LLMs.txt正成为网站与AI对话的新语言。这个轻量级标准已被Anthropic、Cursor等企业采用，让AI理解内容效率提升3倍。
llms-txt-hub：为LLM工具提供标准化信息交互
gitblog_00122的博客
04-02 958
llms-txt-hub：为LLM工具提供标准化信息交互 项目介绍 llms.txt hub 是一个全面的 llms.txt 实现集合和资源库，旨在为基于大型语言模型（LLM）的工具和服务提供一种标准化的信息交互方式。通过这个项目，开发者和用户可以轻松地发现和共享不同项目和平台上的 llms.txt 实现。 llms.txt 文件提供了一种标准化的方法，指导LLM如何解读和使用项目文档和代码库。这...
大模型mardown数据转换： 各种文件数据转换markitdown、网页数据转换llms.txt
weixin_42357472的博客
03-20 479
robots.txt 和 sitemap.xml 是为搜索引擎设计的，而 LLMs.txt 是面向推理引擎优化，它以 LLM 可以轻松理解的格式向 LLM 提供有关网站的信息。参考https://github.com/microsoft/markitdown。/llms.txt: 简化的文档导航视图，帮助 AI 系统快速理解站点的结构。包转换：https://github.com/dotenvx/llmstxt。在线：https://llmstxt.firecrawl.dev/
llms.txt 长什么样？怎么使用它？
weixin_45017726的博客
04-28 465
LLMs.txt是一个 Markdown 格式的文本文件，放在网站根目录，里面索引了网站内所有可供 LLM（大模型）处理的 Markdown 页面。此外，它还可简要描述每个页面内容、用途以及相关属性。，即可打开 Markdown 版本。这样，AI 助手读取内容时无需解析复杂网页，只需聚焦精炼的信息，大幅提升响应速度和理解力。目前已支持使用 llms.txt，你可以在“在线文档”中使用，例如。如果访问某个页面，只需在其 HTML URL 后加。就启用了 llms.txt。
langchain_community.llms.ollama.OllamaEndpointNotFoundError: Ollama call failed with status code 404. Maybe your model is not found and you should pull the model with `ollama pull deepseek-r1`.
04-15
<think>好的，我现在需要帮助用户解决OllamaEndpointNotFoundError，状态码404，以及如何拉取正确的模型deepseek-r1。首先，我应该检查用户提到的引用内容，特别是引用[2]和引用[3]，因为里面提到了Ollama相关的配置和模型请求。 用户遇到了404错误，这通常意味着端点不存在或者模型未找到。根据引用[2]，用户可能需要正确导入OllamaLLM，并且确保使用了正确的方法，比如用invoke代替__call__。此外，安装正确的包也是关键，比如安装langchain-ollama和langchain-milvus。 接下来，用户提到想拉取模型deepseek-r1。我需要确认这个模型是否在Ollama的模型库中存在。如果不存在，可能需要用户自己创建或者通过API请求来拉取，如引用[3]中的示例使用curl命令创建模型并指定文件哈希。但可能用户需要先通过Ollama的pull命令来获取模型，例如`ollama pull deepseek-r1`。不过，如果模型不在官方仓库，可能需要自定义Modelfile。 另外，用户可能没有正确设置Ollama的服务端点，默认是localhost:11434，需要确保服务正在运行，并且端口没有被阻挡。如果使用Docker或其他环境，可能需要检查网络配置。 最后，结合引用中的信息，正确的步骤应该是先安装必要的库，确保Ollama服务运行，拉取或创建所需模型，然后在代码中使用正确的导入路径和方法，比如从langchain_community.llms.ollama导入Ollama，并用invoke调用模型。如果模型不存在，可能需要检查模型名称是否正确或者是否存在拼写错误，或者联系模型提供者获取正确的拉取方式。</think>### 解决OllamaEndpointNotFoundError与模型拉取问题 #### 1. 确认Ollama服务状态 首先确保Ollama服务已启动且监听在默认端口`11434`： ```bash curl http://localhost:11434 ``` 若返回`Ollama is running`则服务正常，否则需启动服务： ```bash ollama serve ``` #### 2. 安装必要依赖 根据引用[2]，需确保已安装正确的库： ```bash pip install langchain-ollama langchain-milvus ``` #### 3. 模型拉取操作 尝试拉取`deepseek-r1`模型： ```bash ollama pull deepseek-r1 ``` 若提示模型不存在，需确认： - 模型名称是否拼写正确 - 模型是否在Ollama官方仓库中（可通过`ollama list`查看本地模型列表） #### 4. 自定义模型配置（若需） 若模型需自定义配置，参考引用[3]创建模型请求： ```bash curl http://localhost:11434/api/create -d '{ "model": "deepseek-r1", "files": { "config.json": "sha256:...", "model.safetensors": "sha256:..." } }' ``` 需替换实际文件哈希值。 #### 5. 代码适配（关键修正） 根据引用[2]，代码需使用更新后的导入路径与方法： ```python from langchain_community.llms.ollama import Ollama llm = Ollama(model="deepseek-r1", base_url="http://localhost:11434") result = llm.invoke("Hello") # 使用invoke替代__call__ ``` #### 6. 验证流程 ```python import requests response = requests.get("http://localhost:11434/api/tags") print(response.json()) # 查看可用模型列表 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值