- 博客(6)
- 收藏
- 关注
RSS订阅原创 CS336课程笔记：lecture2 pytorch手把手搭建 LLM
在 PyTorch 中从张量出发搭建模块与模型，写出完整训练循环，理解优化器、梯度回传与随机性控制；理解张量数据类型、维度与在 GPU 上的存储方式，学会按字节数估算显存占用，并从中得出“参数最多能有多少”、“激活会占多少”等结论。通过本讲，读者应当不仅掌握 PyTorch 搭建模型和训练循环的基本技巧，更重要的是形成一种。讲师一开始给出两个“纸上算一算”的问题，用来说明为什么资源核算很重要。对于更激进的方案，可以使用 NVIDIA 的。本讲是本课程的第二讲，延续上一节关于。
2025-12-10 11:27:44
901
原创 CS336课程笔记：lecture 1 分词技术
观察结果：1. 空格也会被考虑进去作为一个token2. 位于句首的单词和位于句中的单词表示方式不同（例如，world world）3. 数字会被拆分为每几位一组进行标记化处理4. tokenization 是可逆的。
2025-10-11 15:13:27
685
原创 CS336课程笔记：lecture 0 基础回顾
举例：给你一个 Common Crawl dump 和 32 H100s ,时间两周，你应该怎么做？
2025-10-11 11:23:07
962
原创 DeepSeek-R1本地微调指南（unsloth）
可能会遇到transformers版本问题，如果遇到请更新版本到4.50.1。本文下载的是：DeepSeek-R1-Distill-Llama-8B。（3）打开对应的jupyter文件，执行即可。如果是在远程服务器上配置，请按照一下配置。（3）更新transformers。（5）Wandb（可以不安装）（1）新建一个文件夹，如DS。（2）从魔搭上下载预训练模型。（2）添加jupyter环境。（4）jupyter文件内容。参考官方文档完成配置即可。（1）打开jupyter。
2025-03-31 15:09:56
955
原创 安装gym 0.18.3报错解决方案，搭建强化学习环境
conda构建gym0.18.3环境上面第三行代码报错也可以尝试重新运行是下面的这行代码。
2025-03-18 20:33:13
1475
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人