初学者怎么入门大语言模型（LLM）？

真的想入门大语言模型，只看这一个文章应该是可以入门的。但是修行下去，还是要靠自己的了！

如果你把大语言模型/LLM 当成一门技术来看，那就要看一下这门技术需要什么。

基本要求：

• 开发语言：Python, C/C++
• 开发框架：Numpy/Pytorch/Tensorflow/Keras/Onnx
• 数学知识：线性代数、高数、概率、凸优化

这些东西我们假定你都已经会了，或者熟练使用了。

如果不熟，我建议你自己再学习一下。尤其是数学的几个基本公式，是要学会的。我列一下吧。

数学核心内容

1. 「线性代数」：关键概念包括向量、矩阵、特征值和特征向量。重要的公式涉及矩阵乘法、行列式以及特征值方程Av=λv，其中 A是矩阵，v 是特征向量，λ是特征值。
2. 「高数」：基本主题是微分和积分，重点是理解极限、导数和积分的概念。函数 f(x) 在点 x的导数由f′(x)=limh→0 f(x+h)−f(x) 给出，基本微积分定理将微分与积分联系起来。
3. 「概率」：关键点包括概率公理、条件概率、贝叶斯定理、随机变量和分布。例如，贝叶斯定理由P(A∣B)=P(B∣A)P(A)/P(B)给出，它帮助在发生B 的情况下更新 A 的概率。
4. 「凸优化」：关注目标函数为凸函数的问题。关键概念包括凸集、凸函数、梯度下降和拉格朗日乘数。梯度下降更新规则可以表示为 xn+1 =xn −α∇f(xn )，其中 α是学习率。

你可以看到这些相对经常用到的数学，其实没有多难，只要你再看一下记住就好了。

开发框架

Numpy 主要是掌握各种数据的使用方法

Pytorch 与 Tensor、 Keras 就是完成各种网络及训练的方法

你至少要能保证下面的代码里的每一行代码都能完全理解

import torchfrom torch import nn, optimfrom torchvision import datasets, transformsfrom torch.utils.data import DataLoader# Define a transformation to normalize the datatransform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])# Load the Fashion MNIST datasettrain_dataset = datasets.FashionMNIST(root='./data', train=True, download=True, transform=transform)test_dataset = datasets.FashionMNIST(root='./data', train=False, download=True, transform=transform)train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)# Define the neural network structureclass FashionMNISTNN(nn.Module):    def __init__(self):        super(FashionMNISTNN, self).__init__()        self.flatten = nn.Flatten()        self.linear_relu_stack = nn.Sequential(            nn.Linear(28*28, 512),            nn.ReLU(),            nn.Linear(512, 256),            nn.ReLU(),            nn.Linear(256, 10),        )    def forward(self, x):        x = self.flatten(x)        logits = self.linear_relu_stack(x)        return logitsmodel = FashionMNISTNN()# Define the loss function and optimizerloss_fn = nn.CrossEntropyLoss()optimizer = optim.Adam(model.parameters(), lr=0.001)# Function to train the modeldef train(dataloader, model, loss_fn, optimizer):    size = len(dataloader.dataset)    model.train()    for batch, (X, y) in enumerate(dataloader):        # Compute prediction and loss        pred = model(X)        loss = loss_fn(pred, y)        # Backpropagation        optimizer.zero_grad()        loss.backward()        optimizer.step()        if batch % 100 == 0:            loss, current = loss.item(), batch * len(X)            print(f"loss: {loss:>7f}  [{current:>5d}/{size:>5d}]")# Function for testing the modeldef test(dataloader, model, loss_fn):    size = len(dataloader.dataset)    num_batches = len(dataloader)    model.eval()    test_loss, correct = 0, 0    with torch.no_grad():        for X, y in dataloader:            pred = model(X)            test_loss += loss_fn(pred, y).item()            correct += (pred.argmax(1) == y).type(torch.float).sum().item()    test_loss /= num_batches    correct /= size    print(f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")# Train the modelepochs = 5for t in range(epochs):    print(f"Epoch {t+1}\n-------------------------------")    train(train_loader, model, loss_fn, optimizer)    test(test_loader, model, loss_fn)print("Done!")print("关注微信公众号：佑佑有话说")

注意，是每一行代码，都能完全理解！！！

Transformer基础

做为 LLM 的基础模型，你要想入门，那对 Transformer 这个模型要了如指掌才成！

而 Transformer 的基本图像就是下面这样的：

推荐自己手写一个 Transformer 模型，至少要写一个 Attention 的结构。还要看懂下面这个图。你就能体会到一个至简的模型是怎么遵循 Scaling Law的，AGI 可能就在这个简单的重复与变大中了！

但是Transformer 这么简单的东西怎么就这么厉害了呢？整个大模型已经发展两三年了，如果你再不跟上，可能很快就淘汰了。

「只要你有想法，你就有结果！只要你投入，就会有成就！」

这些是个基础了。但是对于 LLM 来讲吧，如果你想自己继续研究，那可能要接触的就是下面这些东西了。

• Prompt 工程
• RAG 技术
• Fine-Tune 技术
• LLM Training From Scratch
• LLM 部署及优化技术

这几项基本上是针对效果及成本的要求从低到高的顺序，也是技术上从简单到难的顺序列出来的。

1. 「Prompt 工程」：涉及设计和完善给LLM的Prompt，来得到最准确或最有用的Response。核心原则是通过精心设计的问题或陈述引导LLM生成所需的输出。它需要理解LM的能力和限制，并且通常涉及反复试验以找到最有效的提示。基本技术就是三件事：
   指令角色、精确表达、要求输出格式。
2. 「RAG 技术（检索增强生成）」：RAG 是一种方法，结合了检索器模型来获取相关文档或数据和生成器模型来产生最终输出。这种技术通过外部信息丰富LLM的响应，提高其准确性和可靠性，特别是对于知识密集型任务。关键是有效整合检索和生成过程，以利用现有知识和生成能力。
   你需要了解的就是 LangChain
3. 「Fine-Tune 技术」：微调涉及在特定数据集或特定任务上轻微调整预训练模型参数以提高性能。这种方法允许利用大型预训练模型并将它们适应于专门的要求，无需进行大量重新训练。本质是保持LM的一般能力，同时为特定用例进行优化。
   没啥好说的了，自己准备数据针对特定任务训练
4. 「LLM 从零开始训练」：从头开始训练大型语言模型（LLM）意味着在不依赖现有预训练权重的情况下构建模型。这个过程涉及收集大量数据集、设计模型架构，然后在高性能计算资源上长时间训练模型。核心挑战是需要大量的计算能力和数据，以及有效管理训练过程的专业知识。
   如果你没有在一个顶级的公司或者研究团队，想想就好了。
5. 「LLM 部署及优化技术」：部署和优化LLM涉及有效提供预测的策略，同时有效管理计算资源。这包括模型量化（减少数字的精度以节省内存）、模型修剪（移除不那么重要的权重）和蒸馏（训练一个较小的模型来模仿一个较大的模型）。目标是减少模型的大小和推理时间，而不会显著影响其性能，使其适合生产环境。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

下面这些都是我当初辛苦整理和花钱购买的资料，现在我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。