cs336
文章平均质量分 97
吨吨不打野
不要慌,不要慌,太阳落下有月光
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
CS336——2. PyTorch, resource accounting
斯坦福CS336课程第二讲主要介绍了使用PyTorch从零搭建大语言模型的核心内容。课程从张量基础操作开始,讲解了如何高效利用计算资源(内存和算力),并通过两个计算示例展示了训练70B参数模型所需时间和8块H100显卡能承载的最大模型规模(约400亿参数)。课程还推荐了Transformer相关读物,并详细解析了单精度浮点数(FP32)的存储格式。整体采用自底向上的教学方式,涵盖张量操作、模型构建、优化器和训练循环等关键知识点,为后续Transformer实现奠定基础。原创 2026-01-09 23:57:22 · 4 阅读 · 0 评论 -
CS336——1-2. Tokenizer
原始文本通常是使用 unicode string表示的, 例如:你好!原创 2025-11-19 22:59:56 · 755 阅读 · 0 评论 -
CS336——1-1. Overview
❌【斯坦福大学 • CS336】从零开始构建语言模型 | 2025 年春季这个清晰度不行,字幕有点问题✅斯坦福CS336:大模型从0到1|第一讲:概述和tokenization【中英双语】这个好点~斯坦福大学《从零开始的语言模型|CS336 Language Modeling from Scratch Spring 2025》中这个可能更好,但是要开月卡似乎课程主页:课上老师讲解用的是py脚本,使用的是一个叫的基于React等前端构建的一个浏览工具就在课程的github里效率是第一设计原则~原创 2025-09-09 22:36:45 · 2184 阅读 · 0 评论
分享