xm415的专栏

Transformer学习笔记2-Positional Encoding（位置编码）

Transformer学习笔记-注意力机制到底在做什么，Q/K/V怎么来的

基于上篇SFT之后的模型，进行RLHF。

在前面gpt2源码的基础上，进行监督微调联系和源码学习。大模型监督微调-SFT。

源码解析-gpt2源码完整回顾

源码解析-TrainingArguments

源码解析-Trainer

源码解析-DataCollatorForLanguageModeling

源码解析-AutoTokenizer

源码解析-GPT2Config

源码解析-GPT2LMHeadModel

学习大模型系统的过程并不轻松，但是，当你具备了这些能力后，将体会到难以言表的成就感。只有真正的热爱，才能让这漫长的学习过程变得有趣而充实。希望在这个浮躁的时代中，我们都能在技术带来的宁静，和快乐中不断成长。

目标：了解AI的基本概念，机器学习的核心思想。学习内容：- AI历史与发展- 机器学习基础：有监督学习、无监督学习、强化学习- 常见算法：线性回归、逻辑回归、KNN、决策树、SVM- 机器学习的基本流程（数据预处理、模型选择、评估等）资源：《机器学习》周志华Coursera 机器学习课程（斯坦福大学，Andrew Ng）目标：深入一些前沿的AI话题。学习内容：- 生成对抗网络（GAN）- 自然语言处理的高级应用：BERT、GPT、Transformer。

创建并激活 Conda 环境。安装 PyTorch 和 Transformers 库。安装其他可选依赖（如 NumPy、Matplotlib、Pandas）。验证安装，通过运行 Python 测试模型。完成这些步骤后，你的环境就准备好了，可以开始使用 GPT 模型进行开发了。Conda是一个功能强大的工具，它不仅能帮你管理 Python 环境，还可以帮助你管理其他语言和工具包的依赖。在数据科学、机器学习等领域，Conda 由于其强大的环境和包管理能力，已经成为非常受欢迎的选择。

在chatGPT的帮助下，复现了GPT1。本地要跑6个小时，放到colab上，20min跑完，还是很快的。好用。

通读：https://jalammar.github.io/illustrated-transformer/

最近DeepSeek爆火，常见标题如：这几个因素叠加，等于是来自中国的物美价廉的好产品。一时间全世界震惊，信息爆炸，难辨真假。作为从业多年的技术人员，禁不住一探究竟。1. 取得了什么突破2. 在这个全员大模型的时代，为什么做到了，为什么之前没人做到过3. 昙花一现还是新的时代