小白程序员必看：收藏这5种大模型文本切块策略，轻松入门AI世界！

本文介绍了文本切块在构建向量索引中的重要性，并详细解析了五种常见的文本切块策略：按字符长度切分、按 Token 长度切分、按句子语义切分、按段落结构切分（包括默认语法切分和自定义语法切分）以及混合方式切分。这些策略有助于控制文本块大小，避免词嵌入模型截断，并保证检索效果。文章强调了根据实际需求和模型限制选择合适的切块策略的重要性，为初学者提供了实用的指导。

1、 文本切块

在上一节内容中，我们介绍了如何将原始文档载入并完成基本的预处理。那么在正式构建向量索引之前，还有一个绕不开的环节，那就是文本切块（Chunking）。

什么叫文本切块呢？为什么要切成块（Chunk）呢？原因很简单，因为一页内容太长了，而且在非标准页的内容中，一页可能就是一个文档所有的内容。如果不进行切分处理，那么将会导致：① 词嵌入模型无法将超过长度的文本转换为向量，会采取截断处理导致语义被切断；② 文本篇幅过长会导致语义太“散”（可能整个文档的内容讲的主题很多），检索时相关内容可能被冲淡。

那文本到底该怎么切分，才能既不超出 embedding 模型限制，又能保证最终的检索效果呢？

接下来，我们将分别就常见的五种 Chunk 策略进行全面解析。

2、 切块策略

在对原始文本进行切分时，我们所遵循的首要目的不是让块过大或者过小，而是让块的语义边界更合理，这样我们在后续使用过程中才能更加准确的搜索到实际需要的内容。

2.1 按字符长度切分

在所有切块策略中，最简单的一种就是严格按一定字符数量对原始内容进行切分，例如每个片段是 500 个字符。同时，为了避免连续两个块之间的信息背景被撕裂开的可能性，相邻两个块之间还可以有一定字符的交叉重复（Overlap），以此来补偿语义连续性。

此时我们可以发现，对于块大小（Chunk size）和交叉重复部分存在着一定的跷跷板效应（Trade-off），块大小越大那么交叉重复部分便可以越小但是带来的后果就是语义可能不够集中（粒度粗）；而块大小越小那么交叉重复部分便要相对更多，但是带来的后果就是数据冗余增加使得计算词嵌入的次数增加，同时 RAG 阶段更容易出现内容堆叠。

具体地，严格仅按照字符长度切分的代码实现如下：

 1 def text_splitter(docs):
2     text_splitter = CharacterTextSplitter(
3         separator="", chunk_size=500, chunk_overlap=100,
4         add_start_index=True)
5     all_splits = text_splitter.split_documents(docs)
6     for i in range(len(all_splits)):
7         print("===============")
8         page = all_splits[i].metadata['page']
9         s_index = all_splits[i].metadata['start_index']
10         print(f"## 划分好的 chunk :\n {all_splits[i].page_content}")
11         print(f"chunk 长度为：{len(all_splits[i].page_content)}")
12         print(f"根据索引从原始文档中找到的 chunk ：\n{docs[page].page_content[s_index:s_index + 500]}")

在上述代码中，第3行separator是指定分割符号，默认为\n\n，因为这里我们需要严格按照字符长度切分，所以修改为空字符，此后整篇文档两会被看成连续字符串进行处理； chunk_size 和 chunk_overlap 分别指定的是每个块字符的长度和相邻两个块之间交叉重复的长度。第4行是指定是否要返回每个块在对应 page 中的起始索引。第6行便是开始进行块划分。

这里尤其需要注意的一点是相邻两个块之间有交叉重复仅对同一个 page 中的内容有效，也就是说在相邻两个 page 之间确实是被直接分开的，没有交叉重复的地方。当然，对于普通的 txt 和 html 文件，通过 TextLoader 和 BSHTMLLoader 载入后，所有的内容本身就在一个 page 中。

上述代码运行结束后，将会看到类似如下结果：

===============
## 划分好的 chunk :
前言 作为《跟我一起学机器学习》的姊妹篇，两年之后《跟我一起学深度学习》一书也终于出版了。 北宋大家张载有言：“为天地立心， 为生民立命， 为往圣继绝学，为万世开太平”，......了计算机行业及高校所追捧的对象。 但对于绝大多数初学者来讲， 想要跨入深度学习这一领域依旧存在着较高的门槛。 所以， 一本数形结合、 动机原理并重
chunk 长度为：500
根据索引从原始文档中找到的 chunk(page=0) ：
前言 作为《跟我一起学机器学习》的姊妹篇，两年之后《跟我一起学深度学习》一书也终于出版了。 北宋大家张载有言：“为天地立心， 为生民立命， 为往圣继绝学，为万世开太平”，......了计算机行业及高校所追捧的对象。 但对于绝大多数初学者来讲， 想要跨入深度学习这一领域依旧存在着较高的门槛。 所以， 一本数形结合、 动机原理并重

从上述输出结果我们可以看出，对于严格按照字符长度切分的策略来说，其优点是长度完全可控不会超 embedding 限制以及实现简单；但是缺点也非常明显，那就是容易切断语义、检索命中后上下文不完整。这种策略适用场景一般是简单的 demo，或者是对检索精度要求不高的系统。

以上完整代码可参见 Code/Chapter03/C02_chunk_method1.py 文件。

2.2 按 Token 长度切分

尽管通过上面的方法可以严格控制每个块的长度，但是块字符的长度并不等于实际 Token 的长度。例如在使用 Qwen3 的系列 embedding 模型中，常见片段'是什么' 将会被视为一个 Token（102021），而生僻字'鱻' 则会被拆成两个 Token （100024和119）。

因此，字符长度只是约等于 Token 长度。所以另外一种方式便是严格按照 Token 长度来对文档切分成块，核心示例代码如下：

 1 from langchain_text_splitters import Tokenizer
2from transformers import AutoTokenizer
3
4 tokenizer = AutoTokenizer.from_pretrained("../../Qwen/Qwen3-Embedding-0.6B", )
5def text_splitter(docs):
6     text_splitter = CleanTokenTextSplitter(
7         chunk_size=10, chunk_overlap=4, add_start_index=True)
8     text_splitter._tokenizer = tokenizer
9     all_splits = text_splitter.split_documents(docs)
10     for i in range(len(all_splits)):
11         print("\n===============")
12         print(f"划分好的 chunk : {all_splits[i].page_content}")
13         print(f"chunk 长度为：{len(all_splits[i].page_content)}")
14         token_ids = tokenizer.encode(all_splits[i].page_content, add_special_tokens=False)
15         print(f"chunk Token ids 为：{token_ids}")
16         print(f"chunk Token ids 长度为：{len(token_ids)}")
17         tokens = [tokenizer.decode([token_id]) for token_id in token_ids]
18         print(f"chunk Token 为：{tokens}")
19
20if __name__ == '__main__':
21     docs = load_text_file('../../data/ShenPiZi.txt')
22     text_splitter(docs)

在上述代码中，第2~4行是载入 Qwen3 对应的 tokenizer，并将其用于覆盖类 CleanTokenTextSplitter 中的 _tokenizer 成员，即第8行。第6~9行则是实例化类对象，并进行切块处理。

上述代码运行结束后将会输出类似如下结果：

===============
划分好的 chunk : 上海在哪儿？垚和鱻这两个生
chunk 长度为：13
chunk Token ids 为：[100633, 18493, 103379, 11319, 122400, 33108, 100024, 119, 105932, 21287]
chunk Token ids 长度为：10
chunk Token 为：['上海', '在', '哪儿', '？', '垚', '和', '�', '�', '这两个', '生']

===============
划分好的 chunk : 鱻这两个生僻字的读音是什么
chunk 长度为：13
chunk Token ids 为：[100024, 119, 105932, 21287, 118134, 18600, 9370, 57553, 78685, 102021]
chunk Token ids 长度为：10
chunk Token 为：['�', '�', '这两个', '生', '僻', '字', '的', '读', '音', '是什么']

===============
划分好的 chunk : 的读音是什么？壬戌之秋，
chunk 长度为：12
chunk Token ids 为：[9370, 57553, 78685, 102021, 11319, 118696, 118249, 53930, 100057, 3837]
chunk Token ids 长度为：10
chunk Token 为：['的', '读', '音', '是什么', '？', '壬', '戌', '之', '秋', '，']

从上述输出结果可以明显看出，在划分好的块当中如果以字符长度而论，那么每个块对应的长度都超过了上面设定的长度 chunk_size=10，而从 Token 长度而论，则恰好满足设定的值。

此时我们可以知道，严格验证 Token 长度进行切分的优点是不会超过 embedding API 长度上限，且更符合模型实际限制，但是缺点就是依赖 tokenizer，且不同模型 token 规则不同，中英文混排可能不稳定。这种切分策略比较适用于商业级 RAG 或有明确 token 上限的场景中。

以上完整代码可参见 Code/Chapter03/C04_chunk_method2_2.py 文件。

2.3 按句子语义切分

从上面两种切分策略可以看出，严格按照长度进行切分忽略了一个重要的因素，那就是语义。例如在限制固定长度的情况，最后一话可能就会被从中截断。因此，我们可以考虑从语义角度来进行处理。例如先按段落切分，再按换行符切分，然后是空格符切分，最后才是强制切分，即 separators=["\n\n", "\n", " ", ""]。这样就能保证语义优先，尽量保持完整表达，但长度不是严格固定的。

 1 def text_splitter_recursive(docs):
2     text_splitter = RecursiveCharacterTextSplitter(
3         chunk_size=45, chunk_overlap=5, add_start_index=True) 
4     all_splits = text_splitter.split_documents(docs)
5     for i in range(len(all_splits)):
6         print(f"划分好的 chunk:\n{all_splits[i].page_content}")
7         print(f"划分好的 chunk 长度 len(): {len(all_splits[i].page_content)}")
8         print(f"================\n")
9
10if __name__ == '__main__':
11     docs = load_text_file('../../data/Sementic.txt')
12     text_splitter_recursive(docs)

上述代码便是按照语义进行切分的实现，其中类 RecursiveCharacterTextSplitter 实例化时默认 separators=["\n\n", "\n", " ", ""]，如有需要可修改，例如增加句号逗号等，优先级为从左到右。

对于如下文本来说：

我是一个段落。

作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。
随着深度学习技术地不断发展，与之相关的技术应用已经深入渗透到了我们日常生活的方方面面，从医疗保健、金融服务到零售、交通再到智能助理、智能家居等等，尤其是在以 GPT 为代表的大语言模型出现以后，深度学习技术的影子更是无处不在。
如今，利用 ChatGPT 来作为日常生产力工具更是成为了一种共识。

上述代码运行结束后将会输出类似如下结果：

划分好的 chunk:
我是一个段落。
划分好的 chunk 长度 len(): 7
================

划分好的 chunk:
作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。
划分好的 chunk 长度 len(): 35
================

划分好的 chunk:
随着深度学习技术地不断发展，与之相关的技术应用已经深入渗透到了我们日常生活的方方面面，从
划分好的 chunk 长度 len(): 44
================

根据结果可以再次印证， RecursiveCharacterTextSplitter 默认会优先按段落、换行切，不够再按字符切，所以在第3行中 chunk_size 和 chunk_overlap 并不是完全等同于字符串的长度，只是一个近似长度。同时，如果切分的分隔符恰好满足 "\n\n", "\n", " "，即符合语义切分条件，那么两个块之间没有 overlap 部分。例如上面第几个块之间没有重复部分，尽管 chunk_overlap=5，因为满足"\n" 切分。

此时可以看出，这种切分策略的优点是检索结果更自然且语义完整度更高；但是缺点就是长度不稳定且差异可能较大。这种切分策略就比较适合适合对教材、说明文档等文件进行处理。

以上所有完整示例代码，可参见 Code/Chapter03/C05_chunk_method3.py 文件。

2.4 按段落结构切分

除了按照以不同分隔符从语义的角度来进行切分以外，对于具有特殊标记的文件，例如 Markdown文件，我们还可以按目录结构进行切分。这样我们可以让一个小节的内容就是一个块。

2.4.1 默认语法切分

具体地，核心示例代码如下：

 1 from langchain_text_splitters import MarkdownHeaderTextSplitter
2
3def text_splitter_markdown(docs):
4     headers_to_split_on = [("#", "一级标题"), ("##", "二级标题"), ("###", "三级标题")]
5     text_splitter = MarkdownHeaderTextSplitter(headers_to_split_on)
6     all_splits = text_splitter.split_text(docs[0].page_content)
7     for i in range(len(all_splits)):
8         data = all_splits[i]
9         print(f"划分好的 chunk 目录信息:\n{data.metadata}")
10         print(f"划分好的 chunk 内容:\n{data.page_content}")
11         print(f"划分好的 chunk 长度 len(): {len(data.page_content)}")
12         print(f"================\n")
13
14if __name__ == '__main__':
15     docs = load_text_file('../../data/markdown.md')
16     text_splitter_markdown(docs)

在上述代码中，第4行代码是给定一个规则，即如何匹配各个级别的标题。第5~6行则是开始对 Markdown 文件进行分块处理。

对于如下文本来说：

# 第一章 跟我一起学深度学习
作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。
## 第 1.1 节 简介
随着深度学习技术地不断发展，与之相关的技术应用已经深入渗透到了我们日常生活的方方面面，从医疗保健、金融服务到零售、交通再到智能助理、智能家居等等，尤其是在以 GPT 为代表的大语言模型出现以后，深度学习技术的影子更是无处不在。
如今，利用 ChatGPT 来作为日常生产力工具更是成为了一种共识。
### 第 1.1.1 节 说明
例如在本书的成文过程过中 ChatGPT 就为我们提供了不少的灵感和启示，部分内容也是在 ChatGPT 的辅助下所完成，而这在 10 年乃至 5 年前都是难以想象的。

也正因如此，对于这些热门应用背后技术的探索便逐渐成为了计算机行业及高校所追捧的对象。但对于绝大多数初学者来讲，想要跨入深度学习这一领域依旧存在着较高的门槛。所以，一本数形结合、 动机原理并重、 细致考究的入门书籍对于初学者来讲就显得十分必要了。

上述代码运行结束后将会输出类似如下结果：

划分好的 chunk 目录信息:
{'一级标题': '第一章 跟我一起学深度学习'}
划分好的 chunk 内容:
作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。
划分好的 chunk 长度 len(): 35
================

划分好的 chunk 目录信息:
{'一级标题': '第一章 跟我一起学深度学习', '二级标题': '第 1.1 节 简介'}
划分好的 chunk 内容:
随着深度学习技术地不断发展，与之相关的技术应用已经深入渗透到了我们日常生活的方方面面，从医疗保健、金融服务到零售、交通再到智能助理、智能家居等等，尤其是在以 GPT 为代表的大语言模型出现以后，深度学习技术的影子更是无处不在。
如今，利用 ChatGPT 来作为日常生产力工具更是成为了一种共识。
划分好的 chunk 长度 len(): 148
================

划分好的 chunk 目录信息:
{'一级标题': '第一章 跟我一起学深度学习', '二级标题': '第 1.1 节 简介', '三级标题': '第 1.1.1 节 说明'}
划分好的 chunk 内容:
例如在本书的成文过程过中 ChatGPT 就为我们提供了不少的灵感和启示，部分内容也是在 ChatGPT 的辅助下所完成，而这在 10 年乃至 5 年前都是难以想象的。  
...

从上述输出结果可以看出，此时每一个块对应的就是该标题下的所有内容，并且同时我们还能根据 metadata 属性来获得每个块对应的完整目录信息，这对于后续 RAG 检索可谓是非常友好。

此时可以看出，这种切分策略的优点是结构清晰、章节语义完整以及检索结果逻辑更强；但缺点是容易超过 Token 限制，长章节 embedding 可能报错。这种切分策略的适用场景通常有技术书、API 文档、课程内容和知识库系统等，但必须配合长度限制兜底机制。

以上所有完整示例代码，可参见 Code/Chapter03/C06_chunk_method4_1.py 文件。

2.4.2 自定义语法切分

从上面的示例用法我们可以发现，什么是一级标题、什么是二级标题的语法是我们按照 Markdown 的默认语法指定的，那如果被载入文件采用的是另外一套语法体系该如何处理呢？

例如在实际场景中可能会是下面这样的情况（如直接把 word 文件转换成 txt 文件）：

第一章 机器学习
机器学习基础概念介绍。
1.1 什么是有监督学习
定义：有监督学习也叫做有指导学习，它是指模型在训练过程中需要通过真实值来对训练过程进行指导的学习过程。在有监督模型的训练过程中，每次输入模型的数据都是形如(x,y)这样的样本对，而模型最终学到的就是从输入x到输出y这样的映射关系。
1.1.1 常见有监督算法
常见有监督算法有：线性回归、逻辑回归、决策树、贝叶斯算法等。
1.2 什么是无监督学习
定义：无监督学习......
第二十章 深度学习
深度学习基础概念介绍。
20.1 什么是卷积操作？
定义：卷积操作是指.....
20.10.1 常见的卷积神经
常见的卷积神经网络有：LeNet5、ResNet等。

可以发现，这些都不是标准 Markdown 标题，但如果仍旧需要按段落结构切分，那么就要用到自定义的语法方式了。

此时，如果我们希望"第x章 xxx" 表示 一级标题，“x.x xxx” 表示二级标题，“x.x.x xxxx” 表示三级标题，那么可以通过定义相关正则表达式实现，核心示例代码如下：

 1 def text_splitter_markdown(docs):
2     header_patterns = [(1, r"^\s*第\S+章.*"),
3         (2, r"^\s*\d+\.\d+(?!\.)\s+.+$"),
4         (3, r"^\s*\d+\.\d+\.\d+(?!\.)\s+.+$")]
5     text_splitter = RegexTextSplitter(header_patterns)
6     all_splits = text_splitter.split_text(docs[0].page_content)
7     for i in range(len(all_splits)):
8         data = all_splits[i]
9         print(f"划分好的 chunk 目录信息:\n{data.metadata}")
10         print(f"划分好的 chunk 内容:\n{data.page_content}")
11         print(f"划分好的 chunk 长度 len(): {len(data.page_content)}")
12         print(f"================\n")
13
14if __name__ == '__main__':
15     docs = load_text_file('../../data/word.txt')
16     text_splitter_markdown(docs)

在上述代码中，第2_{4行便是配置的正则表达式来配置三级目录，如有更多则继续追加。第5}6行则是开始按规则进行切分。

对于上面的示例文本，上述代码运行结束后将会输出类似如下结果：

划分好的 chunk 目录信息:
{'1 级标题': '第一章 机器学习'}
划分好的 chunk 内容:
机器学习基础概念介绍。
划分好的 chunk 长度 len(): 11
================

划分好的 chunk 目录信息:
{'1 级标题': '第一章 机器学习', '2 级标题': '1.1 什么是有监督学习'}
划分好的 chunk 内容:
定义：有监督学习也叫做有指导学习，它是指模型在训练过程中需要通过真实值来对训练过程进行指导的学习过程。在有监督模型的训练过程中，每次输入模型的数据都是形如(x,y)这样的样本对，而模型最终学到的就是从输入x到输出y这样的映射关系。
划分好的 chunk 长度 len(): 115
================

划分好的 chunk 目录信息:
{'1 级标题': '第一章 机器学习', '2 级标题': '1.1 什么是有监督学习', '3 级标题': '1.1.1 常见有监督算法'}
划分好的 chunk 内容:
常见有监督算法有：线性回归、逻辑回归、决策树、贝叶斯算法等。
划分好的 chunk 长度 len(): 30
================

划分好的 chunk 目录信息:
{'1 级标题': '第一章 机器学习', '2 级标题': '1.2 什么是无监督学习'}
划分好的 chunk 内容:
定义：无监督学习......
划分好的 chunk 长度 len(): 14
================

划分好的 chunk 目录信息:
{'1 级标题': '第二十章 深度学习'}
划分好的 chunk 内容:
深度学习基础概念介绍。
划分好的 chunk 长度 len(): 11
================

划分好的 chunk 目录信息:
{'1 级标题': '第二十章 深度学习', '2 级标题': '20.1 什么是卷积操作？'}
划分好的 chunk 内容:
定义：卷积操作是指.....
划分好的 chunk 长度 len(): 14
================

划分好的 chunk 目录信息:
{'1 级标题': '第二十章 深度学习', '2 级标题': '20.1 什么是卷积操作？', '3 级标题': '20.10.1 常见的卷积神经'}
划分好的 chunk 内容:
常见的卷积神经网络有：LeNet5、ResNet等。
划分好的 chunk 长度 len(): 26
================

从上述输出结果可以看出，按照自定义的正则表达式，我们已经完全实现了根据目录来进行切分的要求。

以上所有完整示例代码，可参见 Code/Chapter03/C06_chunk_method4_2.py 文件。

2.5 按混合方式切分

到此，我们已经完整介绍了4种块切分方式，不过真正成熟的 RAG 系统不会只用一种方式，而是多种方式混合切分。例如最常见的就是“结构优先 ，长度兜底”这样的策略。这样做的优势是保留了章节语义的同时不会超 embedding 上限，且检索质量稳定，这是工业界常用方案。

对于先按目录结构切块，再对超长小节字符长度语义递归切分示例代码如下：

 1 def text_splitter_mixture(docs):
2     headers_to_split_on = [("#", "一级标题"), ("##", "二级标题"), ("###", "三级标题")]
3     text_md_splitter = MarkdownHeaderTextSplitter(headers_to_split_on)
4     all_md_splits = text_md_splitter.split_text(docs[0].page_content)
5     text_rec_splitter = RecursiveCharacterTextSplitter(
6         chunk_size=20, chunk_overlap=3, add_start_index=True)
7     all_rec_splits = text_rec_splitter.split_documents(all_md_splits)
8     for i in range(len(all_rec_splits)):
9         data = all_rec_splits[i]
10         print(f"划分好的 chunk 目录信息:\n{data.metadata}")
11         print(f"划分好的 chunk 内容:\n{data.page_content}")
12         print(f"划分好的 chunk 长度 len(): {len(data.page_content)}")
13         print(f"================\n")

在上述代码运行结束以后，将会得到类似如下结果：

划分好的 chunk 目录信息:
{'一级标题': '第一章 跟我一起学深度学习', 'start_index': 0}
划分好的 chunk 内容:
作为机器学习方向的一个重要分支，深度学习
划分好的 chunk 长度 len(): 20
================

划分好的 chunk 目录信息:
{'一级标题': '第一章 跟我一起学深度学习', 'start_index': 17}
划分好的 chunk 内容:
度学习在近年来的发展可谓是大放异彩。
划分好的 chunk 长度 len(): 18
================

划分好的 chunk 目录信息:
{'一级标题': '第一章 跟我一起学深度学习', '二级标题': '第 1.1 节 简介', 'start_index': 0}
划分好的 chunk 内容:
随着深度学习技术地不断发展，与之相关的技
划分好的 chunk 长度 len(): 20
================
....

从上出结果可以看出，对于原始 markdown 文件的第一章内容“作为机器学习方向的一个重要分支，深度学习在近年来的发展可谓是大放异彩。”，由于超过了上面设定的长度20，所以被切分成了两个块，大家可以将上面前两个块的结果和第2.4.1节输出结果的第一个块进行对比。

以上所有完整示例代码，可参见 Code/Chapter03/C08_chunk_method5.py 文件。

到此，我们就介绍了5种文本分块策略，虽然看起来比较多但在实际情况中，我们仍旧需要根据效果来进行调整，后续章节我们也将继续介绍。

那么如何学习大模型 AI ？

对于刚入门大模型的小白，或是想转型/进阶的程序员来说，最头疼的就是找不到系统、全面的学习资源，要么零散不成体系，要么收费高昂，白白浪费时间走弯路。今天就给大家精心整理了一份全面且免费的AI大模型学习资源包，覆盖从入门到实战、从理论到面试的全流程，所有资料均已整理完毕，免费分享给各位！

核心包含：AI大模型全套系统化学习路线图（小白可直接照做）、精品学习书籍+电子文档、干货视频教程、可直接上手的实战项目+源码、2026大厂面试真题题库，一站式解决你的学习痛点，不用再到处搜集拼凑！

👇👇扫码免费领取全部内容👇👇

1、大模型系统化学习路线

学习大模型，方向比努力更重要！很多小白入门就陷入“盲目看视频、乱刷资料”的误区，最后越学越懵。这里给大家整理的这份学习路线，是结合2026年大模型行业趋势和新手学习规律设计的，最科学、最系统，从零基础到精通，每一步都有明确指引，帮你节省80%的无效学习时间，少走弯路、高效进阶。

2、大模型学习书籍&文档

理论是实战的根基，尤其是对于程序员来说，想要真正吃透大模型原理，离不开优质的书籍和文档支撑。本次整理的书籍和电子文档，均由大模型领域顶尖专家、大厂技术大咖撰写，涵盖基础入门、核心原理、进阶技巧等内容，语言通俗易懂，既有理论深度，又贴合实战场景，小白能看懂，程序员能进阶，为后续实战和面试打下坚实基础。

3、AI大模型最新行业报告

无论是小白了解行业、规划学习方向，还是程序员转型、拓展业务边界，都需要紧跟行业趋势。本次整理的2026最新大模型行业报告，针对互联网、金融、医疗、工业等多个主流行业，系统调研了大模型的应用现状、发展趋势、现存问题及潜在机会，帮你清晰了解哪些行业更适合大模型落地，哪些技术方向值得重点深耕，避免盲目学习，精准对接行业需求。值得一提的是，报告还包含了多模态、AI Agent等前沿方向的发展分析，助力大家把握技术风口。

4、大模型项目实战&配套源码

对于程序员和想落地能力的小白来说，“光说不练假把式”，只有动手实战，才能真正巩固所学知识，将理论转化为实际能力。本次整理的实战项目，涵盖基础应用、进阶开发、多场景落地等类型，每个项目都附带完整源码和详细教程，从简单的ChatPDF搭建，到复杂的RAG系统开发、大模型部署，难度由浅入深，小白可逐步上手，程序员可直接参考优化，既能练手提升技术，又能丰富简历，为求职和职业发展加分。

5、大模型大厂面试真题

2026年大模型面试已从单纯考察原理，转向侧重技术落地和业务结合的综合考察，很多程序员和新手因为缺乏针对性准备，明明技术不错，却在面试中失利。为此，我精心整理了各大厂最新大模型面试真题题库，涵盖基础原理、Prompt工程、RAG系统、模型微调、部署优化等核心考点，不仅有真题，还附带详细解题思路和行业踩坑经验，帮你精准把握面试重点，提前做好准备，面试时从容应对、游刃有余。

6、四阶段精细化学习规划（附时间节点，可直接照做）

结合上述资源，给大家整理了一份可直接落地的四阶段学习规划，总时长约2个月，小白可循序渐进，程序员可根据自身基础调整节奏，高效掌握大模型核心能力，快速实现从“入门”到“能落地、能面试”的跨越。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

👇👇扫码免费领取全部内容👇👇

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】