真的想入门大语言模型，只看这一个文章应该是可以入门的。但是修行下去，还是要靠自己的了！
如果你把大语言模型/LLM当成一门技术来看，那就要看一下这门技术需要什么。
基本要求：
- 开发语言：Python, C/C++/Tensorflow/Keras/Onnx
- 数学知识：线性代数、高数、概率、凸优化
这些东西我们假定你都已经会了，或者熟练使用了。
如果不熟，我建议你自己再学习一下。尤其是数学的几个基本公式，是要学会的。我列一下吧。
数学核心内容
- 线性代数：关键概念包括向量、矩阵、特征值和特征向量。重要的公式涉及矩阵乘法、行列式以及特征值方程Av=λv，其中 A是矩阵，v 是特征向量，λ是特征值。
- 高数：基本主题是微分和积分，重点是理解极限、导数和积分的概念。函数 f(x) 在点 x的导数由f′(x)=limh→0 f(x+h)−f(x) 给出，基本微积分定理将微分与积分联系起来。
- 概率：关键点包括概率公理、条件概率、贝叶斯定理、随机变量和分布。例如，贝叶斯定理由P(A∣B)=P(B∣A)P(A)/P(B)给出，它帮助在发生B 的情况下更新 A 的概率。
- 凸优化：关注目标函数为凸函数的问题。关键概念包括凸集、凸函数、梯度下降和拉格朗日乘数。梯度下降更新规则可以表示为 xn+1 =xn −α∇f(xn )，其中 α是学习率。
你可以看到这些相对经常用到的数学，其实没有多难，只要你再看一下记住就好了。
开发框架
Numpy 主要是掌握各种数据的使用方法
Pytorch 与 Tensor、 Keras 就是完成各种网络及训练的方法
你至少要能保证下面的代码里的每一行代码都能完全理解
import torch
from torch import nn, optim
from torchvision import datasets, transforms
from torch.utils.data import DataLoader
# Define a transformation to normalize the data
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
# Load the Fashion MNIST dataset
train_dataset = datasets.FashionMNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.FashionMNIST(root='./data', train=False, download=True, transform=transform)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)
# Define the neural network structure
class FashionMNISTNN(nn.Module):
def __init__(self):
super(FashionMNISTNN, self).__init__()
self.flatten = nn.Flatten()
self.linear_relu_stack = nn.Sequential(
nn.Linear(28*28, 512),
nn.ReLU(),
nn.Linear(512, 256),
nn.ReLU(),
nn.Linear(256, 10),
)
def forward(self, x):
x = self.flatten(x)
logits = self.linear_relu_stack(x)
return logits
model = FashionMNISTNN()
# Define the loss function and optimizer
loss_fn = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)
# Function to train the model
def train(dataloader, model, loss_fn, optimizer):
size = len(dataloader.dataset)
model.train()
for batch, (X, y) in enumerate(dataloader):
# Compute prediction and loss
pred = model(X)
loss = loss_fn(pred, y)
# Backpropagation
optimizer.zero_grad()
loss.backward()
optimizer.step()
if batch % 100 == 0:
loss, current = loss.item(), batch * len(X)
print(f"loss: {loss:>7f} [{current:>5d}/{size:>5d}]")
# Function for testing the model
def test(dataloader, model, loss_fn):
size = len(dataloader.dataset)
num_batches = len(dataloader)
model.eval()
test_loss, correct = 0, 0
with torch.no_grad():
for X, y in dataloader:
pred = model(X)
test_loss += loss_fn(pred, y).item()
correct += (pred.argmax(1) == y).type(torch.float).sum().item()
test_loss /= num_batches
correct /= size
print(f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")
# Train the model
epochs = 5
for t in range(epochs):
print(f"Epoch {t+1}\n-------------------------------")
train(train_loader, model, loss_fn, optimizer)
test(test_loader, model, loss_fn)
print("Done!")
注意是每一行
Transformer基础
做为 LLM 的基础模型，你要想入门，那对 Transformer 这个模型要了如指掌才成！
而 Transformer 的基本图像就是下面这样的：
推荐自己手写一个 Transformer 模型，至少要写一个 Attention 的结构。还要看懂下面这个图。你就能体会到一个至简的模型是怎么遵循 Scaling Law的，AGI 可能就在这个简单的重复与变大中了！
这些是个基础了。但是对于 LLM 来讲吧，如果你想自己继续研究，那可能要接触的就是下面这些东西了。
- Prompt 工程
- RAG 技术
- Fine-Tune 技术
- LLM Training From Scratch
- LLM 部署及优化技术
这几项基本上是针对效果及成本的要求从低到高的顺序，也是技术上从简单到难的顺序列出来的。
- Prompt 工程：涉及设计和完善给LLM的Prompt，来得到最准确或最有用的Response。核心原则是通过精心设计的问题或陈述引导LLM生成所需的输出。它需要理解LM的能力和限制，并且通常涉及反复试验以找到最有效的提示。基本技术就是三件事：
指令角色、精确表达、要求输出格式。 - RAG 技术（检索增强生成）：RAG 是一种方法，结合了检索器模型来获取相关文档或数据和生成器模型来产生最终输出。这种技术通过外部信息丰富LLM的响应，提高其准确性和可靠性，特别是对于知识密集型任务。关键是有效整合检索和生成过程，以利用现有知识和生成能力。
你需要了解的就是 LangChain - Fine-Tune 技术：微调涉及在特定数据集或特定任务上轻微调整预训练模型参数以提高性能。这种方法允许利用大型预训练模型并将它们适应于专门的要求，无需进行大量重新训练。本质是保持LM的一般能力，同时为特定用例进行优化。
没啥好说的了，自己准备数据针对特定任务训练 - LLM 从零开始训练：从头开始训练大型语言模型（LLM）意味着在不依赖现有预训练权重的情况下构建模型。这个过程涉及收集大量数据集、设计模型架构，然后在高性能计算资源上长时间训练模型。核心挑战是需要大量的计算能力和数据，以及有效管理训练过程的专业知识。
如果你没有在一个顶级的公司或者研究团队，想想就好了。 - LLM 部署及优化技术：部署和优化LLM涉及有效提供预测的策略，同时有效管理计算资源。这包括模型量化（减少数字的精度以节省内存）、模型修剪（移除不那么重要的权重）和蒸馏（训练一个较小的模型来模仿一个较大的模型）。目标是减少模型的大小和推理时间，而不会显著影响其性能，使其适合生产环境。
术**：部署和优化LLM涉及有效提供预测的策略，同时有效管理计算资源。这包括模型量化（减少数字的精度以节省内存）、模型修剪（移除不那么重要的权重）和蒸馏（训练一个较小的模型来模仿一个较大的模型）。目标是减少模型的大小和推理时间，而不会显著影响其性能，使其适合生产环境。
可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习_，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。
为了帮助大家打破壁垒，快速了解大模型核心技术原理，学习相关大模型技术。从原理出发真正入局大模型。在这里我和MoPaaS魔泊云联合梳理打造了系统大模型学习脉络，这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码免费领取🆓**⬇️⬇️⬇️
【大模型全套视频教程】
教程从当下的市场现状和趋势出发，分析各个岗位人才需求，带你充分了解自身情况，get 到适合自己的 AI 大模型入门学习路线。
从基础的 prompt 工程入手，逐步深入到 Agents，其中更是详细介绍了 LLM 最重要的编程框架 LangChain。最后把微调与预训练进行了对比介绍与分析。
同时课程详细介绍了AI大模型技能图谱知识树，规划属于你自己的大模型学习路线，并且专门提前收集了大家对大模型常见的疑问，集中解答所有疑惑！
深耕 AI 领域技术专家带你快速入门大模型
跟着行业技术专家免费学习的机会非常难得，相信跟着学习下来能够对大模型有更加深刻的认知和理解，也能真正利用起大模型，从而“弯道超车”，实现职业跃迁！
【精选AI大模型权威PDF书籍/教程】
精心筛选的经典与前沿并重的电子书和教程合集，包含《深度学习》等一百多本书籍和讲义精要等材料。绝对是深入理解理论、夯实基础的不二之选。
【AI 大模型面试题 】
除了 AI 入门课程，我还给大家准备了非常全面的**「AI 大模型面试题」，**包括字节、腾讯等一线大厂的 AI 岗面经分享、LLMs、Transformer、RAG 面试真题等，帮你在面试大模型工作中更快一步。
【大厂 AI 岗位面经分享（92份）】
【AI 大模型面试真题（102 道）】
【LLMs 面试真题（97 道）】
【640套 AI 大模型行业研究报告】
【AI大模型完整版学习路线图（2025版）】
明确学习方向，2025年 AI 要学什么，这一张图就够了！
👇👇点击下方卡片链接免费领取全部内容👇👇
抓住AI浪潮，重塑职业未来！
科技行业正处于深刻变革之中。英特尔等巨头近期进行结构性调整，缩减部分传统岗位，同时AI相关技术岗位（尤其是大模型方向）需求激增，已成为不争的事实。具备相关技能的人才在就业市场上正变得炙手可热。
行业趋势洞察：
- 转型加速： 传统IT岗位面临转型压力，拥抱AI技术成为关键。
- 人才争夺战： 拥有3-5年经验、扎实AI技术功底和真实项目经验的工程师，在头部大厂及明星AI企业中的薪资竞争力显著提升（部分核心岗位可达较高水平）。
- 门槛提高： “具备AI项目实操经验”正迅速成为简历筛选的重要标准，预计未来1-2年将成为普遍门槛。
与其观望，不如行动！
面对变革，主动学习、提升技能才是应对之道。掌握AI大模型核心原理、主流应用技术与项目实战经验，是抓住时代机遇、实现职业跃迁的关键一步。
01 为什么分享这份学习资料？
当前，我国在AI大模型领域的高质量人才供给仍显不足，行业亟需更多有志于此的专业力量加入。
因此，我们决定将这份精心整理的AI大模型学习资料，无偿分享给每一位真心渴望进入这个领域、愿意投入学习的伙伴！
我们希望能为你的学习之路提供一份助力。如果在学习过程中遇到技术问题，也欢迎交流探讨，我们乐于分享所知。
*02 这份资料的价值在哪里？*
专业背书，系统构建：
-
本资料由我与MoPaaS魔泊云的鲁为民博士共同整理。鲁博士拥有清华大学学士和美国加州理工学院博士学位，在人工智能领域造诣深厚：
-
- 在IEEE Transactions等顶级学术期刊及国际会议发表论文超过50篇。
- 拥有多项中美发明专利。
- 荣获吴文俊人工智能科学技术奖（中国人工智能领域重要奖项）。
-
目前，我有幸与鲁博士共同进行人工智能相关研究。
内容实用，循序渐进：
-
资料体系化覆盖了从基础概念入门到核心技术进阶的知识点。
-
包含丰富的视频教程与实战项目案例，强调动手实践能力。
-
无论你是初探AI领域的新手，还是已有一定技术基础希望深入大模型的学习者，这份资料都能为你提供系统性的学习路径和宝贵的实践参考，助力你提升技术能力，向大模型相关岗位转型发展。
抓住机遇，开启你的AI学习之旅！
扫一扫
1206
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
