从零开始训练大语言模型:在笔记本上一小时完成约 1000 万参数模型训练!

S32K144驱动TPS929120避坑实录:从原理图设计到PWM调光漏电流的完整解决流程 本文详细解析了S32K144驱动TPS929120在车规LED驱动中的常见问题与解决方案,重点解决了PWM调光漏电流的行业难题。从原理图设计、FlexWire通信到软件调试,提供了一套完整的工程化避坑指南,特别针对车规MCU应用中的温度漂移、地址冲突等痛点给出了实用建议。 阅读详情

平台

平台提供了多种 AI 代码创作、开发者工作流、应用程序安全和探索相关的功能。

AI 代码创作
  • GitHub Copilot:借助 AI 编写更优质代码
  • GitHub Spark:构建并部署智能应用
  • GitHub Models:管理并比较提示词
  • MCP Registry(新):集成外部工具
开发者工作流
  • Actions:自动化任何工作流
  • Codespaces:即时开发环境
  • Issues:规划并跟踪工作
  • Code Review:管理代码变更
应用程序安全
  • GitHub Advanced Security:发现并修复漏洞
  • 代码安全:在构建过程中保障代码安全
  • 密钥保护:防患于未然,防止信息泄露
探索
  • 为何选择 GitHub
  • 文档
  • 博客
  • 更新日志
  • 市场

还可查看所有功能。

解决方案

解决方案可按公司规模、用例和行业进行划分。

按公司规模划分
  • 企业版
  • 中小型团队版
  • 初创企业版
  • 非营利组织版
按用例划分
  • 应用现代化
  • DevSecOps
  • DevOps
  • CI/CD
  • 查看所有用例
按行业划分
  • 医疗保健
  • 金融服务
  • 制造业
  • 政府机构
  • 查看所有行业

也可查看所有解决方案。

资源

资源可按主题、类型探索,还有支持与服务相关内容。

按主题探索
  • AI
  • 软件开发
  • DevOps
  • 安全
  • 查看所有主题
按类型探索
  • 客户案例
  • 活动与网络研讨会
  • 电子书与报告
  • 商业洞察
  • GitHub Skills
支持与服务
  • 文档
  • 客户支持
  • 社区论坛
  • 信任中心
  • 合作伙伴

可查看所有资源。

开源

开源部分包括社区、项目和代码仓库相关内容。

社区
  • GitHub Sponsors:资助开源开发者
项目
  • Security Lab
  • Maintainer Community
  • Accelerator
  • GitHub Stars
  • Archive Program
代码仓库
  • 主题
  • 热门趋势
  • 集合

企业版

企业版有企业解决方案和可用附加组件。

企业解决方案
  • 企业平台:由 AI 驱动的开发者平台
可用附加组件
  • GitHub Advanced Security:企业级安全功能
  • Copilot for Business:企业级 AI 功能
  • 高级支持:企业级 24/7 支持

定价

可查看定价相关内容。

搜索或跳转

可搜索代码、仓库、用户、问题、拉取请求等,还有搜索语法提示。

提供反馈

会阅读每一条反馈,并认真对待意见,可选择包含电子邮件地址以便联系。

保存的搜索

使用保存的搜索可更快地过滤结果,要查看所有可用的限定符,可参阅文档。

angelos - p/llm - from - scratch

这是一个实践工作坊项目,旨在让用户从零开始训练自己的大语言模型(LLM)。

项目背景

Andrej Karpathy 的 nanoGPT 是首次接触大语言模型和 Transformer 的契机,该工作坊是让其他人获得同样体验的尝试。项目提炼核心要点,将模型规模缩小到约 1000 万参数,能在笔记本电脑上用不到一小时完成训练,设计为可在一次工作坊中完成,且不使用黑盒库,一切都由用户亲手构建。

你将构建的内容
  • 分词器:将文本转换为模型可以处理的数字
  • 模型架构:Transformer,包括嵌入层、注意力层和前馈层
  • 训练循环:前向传播、损失计算、反向传播、优化器和学习率调度
  • 文本生成:从训练好的模型中采样生成文本
前提条件
  • 任何笔记本电脑或台式机(Mac、Linux 或 Windows)
  • Python 3.12 及以上版本
  • 能够读懂 Python 代码(无需机器学习经验)

训练会自动使用 Apple Silicon GPU(MPS)、NVIDIA GPU(CUDA)或 CPU,也可在 Google Colab 上运行。

开始使用
本地(推荐)

若未安装 uv,可按以下方式安装:macOS / Linux 用 curl - LsSf https://astral.sh/uv/install.sh | sh;Windows 用 powershell - ExecutionPolicy ByPass - c "irm https://astral.sh/uv/install.ps1 | iex"。然后设置项目:uv sync,mkdir scratchpad && cd scratchpad。

Google Colab

若没有本地环境,可将仓库上传到 Colab 并安装依赖:!pip install torch numpy tqdm tiktoken,将 data/shakespeare.txt 上传到 Colab 文件中,然后在笔记本单元格中编写代码,或者上传.py 文件并使用!python train.py 运行。

要按照文档顺序逐步操作,每一部分都会引导编写管道的一部分,并解释每个组件的作用和原理,最后将拥有自己编写的可用的 model.py、train.py 和 generate.py。

架构:GPT 概览

展示了 GPT 模型从输入文本到输出对数概率的架构流程。

本次工作坊的模型配置
配置参数数量层数头数嵌入维度训练时间(M3 Pro)
极小~50 万22128~5 分钟
小~400 万44256~20 分钟
中等(默认)~1000 万66384~45 分钟

所有配置都使用字符。

华为OD机试 - 小火车最多人时所在园区站点(Java 2024 E卷 100分) 刷的越多,抽中的概率越大,私信哪吒,备注华为OD,加入华为OD刷题交流群,每一题都有详细的答题思路、详细的代码注释、发现新题目,随时更新,全天优快云在线答疑。 阅读详情

相关推荐

大数据实战:Python与MySQL在足球赔率分析中的高效应用

本文详细介绍了如何利用Python与MySQL进行大数据实战,实现足球赔率的高效分析。通过对比Excel处理的局限性,阐述了数据库在处理百万级数据时的速度优势。文章提供了从环境搭建、使用pymysql连接数据库、利用pandas进行数据清洗与分析,到构建自动化分析系统的完整流程,旨在帮助读者将大数据技术应用于实际业务场景,显著提升数据处理与洞察效率。

weixin_29080843的博客 449

LlamaFactory-webui保姆级教程:从零开始训练你的第一个大语言模型(附避坑指南)

本文提供LlamaFactory-webui的保姆级教程,帮助用户从零开始训练第一个大语言模型。教程涵盖环境准备、界面搭建、模型获取、数据准备、训练实战及模型测试与部署的全流程,特别适合新手入门。通过可视化操作避开技术门槛,轻松实现AI模型训练。

weixin_42527464的博客 316

手把手教你配置UFS的PSA状态机:WRITE/UNMAP命令实战与LBA映射避雷

本文详细解析了UFS PSA状态机的配置流程,重点探讨了在Pre-soldering状态下WRITE命令的原子性操作原则与单次写入LBA的重要性。通过实战代码示例,指导开发者如何正确初始化PSA环境、切换状态机,并深入剖析了使用UNMAP命令清理LBA映射时的常见陷阱与避雷指南,确保量产数据安全与良率。

weixin_29213525的博客 423

如何用个人电脑快速训练自己的语言模型?MiniMind 全流程实战指南

—— 项目作者 @jingyaogong。:无需企业级算力,仅需一张消费级显卡(如RTX 3090)、3元成本与2小时,即可从零训练一个64M参数的轻量语言模型。以上是建议硬件,我自己的笔记本是3050显卡,显存4g,训练64的会很慢,最终训练了一个更小的,主要是体验下整个过程。:本文代码实测环境:RTX 3050 + Windows11操作系统,所有截图及日志来自真实运行记录。如果你本机有其他很多依赖库,建议隔离安装,我是用的venv隔离环境。第一次爆显存了,调整参数后继续训练,将参数调小后可以了。

www376422613的博客 922

Clipper库中文帮助文档

引言: 第一次接触Clipper,主要是想用来处理DXF中的图形,网上也有博友翻译过,但是可惜打不开,好像那个网站https://love2.io凉凉了,但是优快云上也有博友分享了CHM,看着只剩3个下载币的我好无奈,一怒之下花费两天的时间将英文CHM也翻译了一遍,主要还是想在翻译的同时好好的理解Clipper,为使用打下坚实的基础。当然我也会无私的奉献出来。 简单的认识一下Clipper:...

zefllj的博客 3424

ArcMap新手必看:5分钟搞定面要素的四至信息提取(附字段重命名技巧)

本文为ArcMap新手提供了快速提取面要素四至信息的详细教程,包括数据准备、坐标系选择、批量处理技巧及字段重命名优化方案。通过实战步骤和Python脚本示例,帮助用户高效完成GIS数据处理任务,特别适合行政区划数据分析和报告生成。

weixin_29266007的博客 384

2小时3块钱!从零训练你的第一个大语言模型MiniMind终极指南

你是否曾被大语言模型的高门槛吓退?动辄数十亿参数的模型,不仅训练成本高昂,部署也遥不可及。现在,MiniMind项目让你用不到3块钱的成本和2小时的时间,就能从零开始训练一个属于自己的64M参数语言模型!🚀 MiniMind是一个开源的大语言模型全流程训练框架,覆盖从预训练、监督微调、强化学习到工具调用的完整链路。它专为个人开发者和初学者设计,让你能够深入理解LLM的每一个训练阶段,而不是停留

gitblog_00351的博客 550

【论文复现】——基于LM优化的NDT点云配准算法

传统的正态分布变换配准算法处理初始位姿变换相差较大的两帧点云时,存在无法收敛或者陷入局部最小值的问题。为了提高算法的收敛性能,提出了一种基于LM方法改进的三维正态分布变换配准算法。

点云侠的博客 1165

从零构建大语言模型:笔记本环境完整训练实践指南

大语言模型(LLM)作为自然语言处理的核心技术,基于Transformer架构实现文本理解和生成。其训练原理包含预训练和微调两个关键阶段,通过大规模数据学习语言规律。在工程实践中,即使使用普通笔记本电脑也能完成完整训练流程,这得益于显存优化和梯度累积等技术。项目涵盖Tokenizer训练、模型预训练和指令微调全链路,特别适合想要深入理解大模型底层机制的学习者。通过实践PyTorch和Hugging Face Transformers技术栈,开发者可以掌握从数据准备到模型评估的完整技能,为后续的模型优化和算法

weixin_34242819的博客 361

Vue+OpenLayers7入门到实战目录,OpenLayers7中文文档,OpenLayers7中文手册,OpenLayers7中文教程,OpenLayers7文档pdf

本篇作为《Vue+OpenLayers7入门到实战》所有文章的二合一汇总目录,方便查找。本专栏源码是由OpenLayers7.x版本结合Vue框架编写。本专栏从Vue搭建脚手架到如何引入OpenLayers7依赖的每一步详细新手教程,再到通过各种入门案例和综合性的实战案例,带领大家快速上手Vue+OpenLayers7开发。

GIS技术方向,GIS地图技术分享(GIS入门、Openlayers教程、Leaflet教程),做最好的GIS地图开发教程。关注博主公众号:eguid 3975

注意力机制模块:CVPR 2026 新宠:MLLA(多尺度线性注意力)即插即用,在 YOLO 和 ConvNeXt 上全面涨点

MLLA核心创新点与实践价值摘要(146字) 清华大学LeapLab团队通过解构Mamba模型,发现其核心优势源于遗忘门机制与块设计,而非传统SSM架构。基于此提出的MLLA模块创新性地将这两项设计融入线性注意力框架:1)用位置编码替代循环计算保留遗忘门的位置感知能力;2)通过门控投影+DWConv+MLP重构高效块结构。在COCO检测任务中,MLLA使小目标AP提升11.6%而仅损失6%FPS,支持ONNX/TensorRT全链路部署,代码已开源。该工作为高分辨率视觉任务提供了近乎零代价的性能提升方案。

ZXSXJ的博客 158

普通笔记本实现大语言模型训练:从预训练到指令微调完整流程

大语言模型(LLM)作为自然语言处理的核心技术,通过Transformer架构实现强大的文本理解和生成能力。其训练原理基于大规模数据的自监督学习,包括预训练和微调两个关键阶段。在工程实践中,资源优化技术如梯度累积和混合精度训练能够显著降低硬件门槛,让普通笔记本电脑也能承担完整的LLM训练流程。这些技术通过合理的内存管理和计算优化,使得开发者可以在消费级硬件上实践从Tokenizer训练、模型预训练到指令微调的全过程,特别适合学习大模型原理和进行小规模实验。本项目正是基于PyTorch和Hugging Fac

cuibinmo3519的博客 295

STM32入门教程:智能汽车控制

智能汽车是近年来快速发展的领域之一,它结合了嵌入式系统、传感器和通信技术,通过智能化的控制算法和决策系统实现自主导航、避障、环境感知等功能。在这篇教程中,我们将以 STM32 微控制器为核心,通过编写代码案例来介绍智能汽车的控制原理和实现方法。步骤三:决策与执行 最后,我们根据传感器数据做出相应的决策,并执行相应的动作。案例:智能汽车的避障功能 在这个案例中,我们将实现智能汽车的避障功能。感知系统负责感知汽车周围的环境,包括障碍物的距离、车辆的角度等信息。下面我们通过一个具体的案例来演示代码的编写。

2401_85258012的博客 929

【VLMs篇】07:Open-Qwen2VL:在学术资源上对完全开放的多模态大语言模型进行计算高效的预训练

本文介绍了Open-Qwen2VL,一个完全开源的20亿参数多模态大语言模型。该模型旨在解决当前SOTA模型预训练成本高昂且流程不透明的问题。通过采用高效的数据过滤技术(如MLM-Filter)、创新的多模态序列打包和动态图像分辨率策略,Open-Qwen2VL仅使用220个A100 GPU小时就在2900万图文对上完成了高效预训练,计算成本极低。

u013010473的博客 1285

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

3小时从零训练64M参数大模型:MiniMind完全实战指南

你是否曾对大语言模型的复杂架构望而却步?是否觉得动辄数百亿参数的训练成本高不可攀?MiniMind项目为你提供了一个全新的解决方案——仅需3小时和不到3元成本,就能从零开始训练一个64M参数的轻量级语言模型。作为一款开源的大语言模型教学项目,MiniMind不仅展示了如何构建高效的小型模型,更提供了从预训练到强化学习的完整训练链路。 通过本指南,你将获得: - **完整的模型训练流程**:从数据

gitblog_00130的博客 385

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Z-Image模型微调实战:云端GPU 5小时完成训练

本文介绍了如何利用"星图GPU"平台自动化部署Z-Image-ComfyUI镜像,快速完成图像生成模型的微调任务。该方案通过云端GPU资源显著提升训练效率,典型应用场景包括特定风格图像生成和视觉内容创作,实测5000张图片的微调仅需5小时即可完成,为AI研究者提供了高效的云端解决方案。

QuartzLynx65的博客 219

分层推理模型HRM:如何用2700万参数实现通用推理能力的突破性进展

Hierarchical Reasoning Model(HRM)是一款革命性的通用推理模型,仅用2700万参数就在复杂推理任务上实现了突破性进展。不同于依赖海量数据和庞大参数的传统大型语言模型,HRM采用创新的分层递归架构,通过模拟人类大脑的多尺度处理机制,在仅使用1000个训练样本的情况下,就能在数独、迷宫和抽象推理等复杂任务中展现出卓越性能。 ## HRM的核心创新:分层递归架构揭秘 🧠

gitblog_00121的博客 1118

什么是大模型训练?大模型训练(超全面!超详细!)

大模型训练被分解成了预训练,监督调优,对齐等阶段。先看预训练,预训练,即Pre-training。预训练的目的是让模型学习语言的特性,主要是学习语言表达的流畅性和规则。至于具体的语言任务,比如对话,角色扮演,信息抽取,翻译,阅读理解,问答等,则需要放到监督调优。预训练是大模型的基础和核心,预训练阶段决定了模型的基础能力和上限。

m0_65555479的博客 1866

Figure抛弃十万行C++代码!用1000小时人类数据训练神经网络,实现全身控制基础模型

机器人跳舞没什么难的,真正的难点在智能控制。我们最强的模型来了,能完成复杂和长时序的任务。美国机器人界掌管demo的神,Figure,冷不丁又出一拳!这一次,他们带来了最新的具身大脑以及最新的家务demo。在推特上,Figure老板Brett直接放话:机器人跳舞没什么难的,真正的难点在智能控制。我们最强的模型来了,能完成复杂和长时序的任务。话虽狂,但这次的demo,真的很有说服力。在视频中,搭载Helix 02的Figure 03,在普通的家庭厨房里,自主完成了洗碗机取盘并放入橱柜的整套流程。

2502_93987700的博客 796

从零开始构建大语言模型(LLM)全解析(一)

如果你在一年前搜索这个话题,可能会看到的是一些晦涩难懂的前沿研究,而如今,大语言模型已经成为科技行业最炙手可热的技术之一。如果你的数据质量不高,那无论模型多强大,最终的效果都会很差。收集数据只是第一步,数据清理才是真正的关键。数据是 LLM 的“燃料”,那么这些数据从哪里来?(Filtering):去掉低质量、错误或有偏见的数据。(Formatting):确保所有数据符合模型输入格式。在讨论技术之前,我们先来看看训练 LLM 需要的。,这句话在 LLM 训练中尤为真实。即便我们不从零训练 LLM,了解其。

weixin_43199439的博客 1053

10万小时UMI预训练验证Scaling Law:机器人策略模型的数据范式变革

10万小时UMI数据的发布,标志着具身智能正式进入"数据规模化"时代。Scaling Law在机器人策略模型上的首次验证,为整个行业指明了一条清晰的技术路径:大规模高质量数据 + 两阶段训练范式 + 自动化标注工程。这三大支柱的确立,意味着具身智能的发展不再依赖零散的小规模实验,而是可以像大语言模型一样,通过系统性的数据工程来实现可预测的能力增长。接下来,行业需要解决的核心问题包括:如何进一步扩大数据采集的场景覆盖和多样性、如何提升跨本体迁移的精度和效率、如何建立统一的数据格式标准以降低生态协作成本。

ok_vince的博客 266

国产VLA模型开源!35000小时训练数据,全球最大规模

Being-H0.5的推出,为具身智能领域提供了一种新的技术范式思路:高质量训练数据并非必须源于自建的高成本机器人集群。针对“如何高效适配多元本体、低成本获取优质训练数据”这一核心行业挑战,Being-H0.5将视角转向人类本身这一最丰富、最自然的数据源泉。这一技术路径在一定程度上降低了具身智能技术的研发门槛,使得企业无需投入巨额资金构建数据“护城河”,便可依托以人为中心的学习范式,开发适配多元本体的通用算法。

具身机器人和通用AI 738

Qwen3-VL-WEBUI模型微调:小预算方案,1小时1块体验训练过程

理解Qwen3-VL-WEBUI微调的基本原理和优势在有限资源下快速部署训练环境完成从数据准备到模型训练的全流程解决常见的显存和性能问题低成本体验:每小时1元左右的成本即可体验大模型微调简化流程:WEBUI界面让复杂训练过程变得可视化灵活调整:可根据硬件条件调整模型大小和训练参数快速验证:小规模数据也能验证微调效果现在就可以按照教程开始你的第一个Qwen3-VL微调任务了,实测下来即使是小规模训练也能观察到模型能力的明显变化。💡获取更多AI镜像想探索更多AI镜像和应用场景?访问。

SilverMoon18的博客 824

大模型训练(超全面!超详细!)收藏这一篇就够了!

大模型训练被分解成了预训练,监督调优,对齐等阶段。先看预训练,预训练,即Pre-training。预训练的目的是让模型学习语言的特性,主要是学习语言表达的流畅性和规则。至于具体的语言任务,比如对话,角色扮演,信息抽取,翻译,阅读理解,问答等,则需要放到监督调优。预训练是大模型的基础和核心,预训练阶段决定了模型的基础能力和上限。

youmaob的博客 7649

大模型训练(超全面!超详细!)不懂大模型训练的看过来

大模型训练被分解成了预训练,监督调优,对齐等阶段。先看预训练,预训练,即Pre-training。预训练的目的是让模型学习语言的特性,主要是学习语言表达的流畅性和规则。至于具体的语言任务,比如对话,角色扮演,信息抽取,翻译,阅读理解,问答等,则需要放到监督调优。预训练是大模型的基础和核心,预训练阶段决定了模型的基础能力和上限。

2401_84204413的博客 776

2小时从零训练大模型:MiniMind可视化训练全攻略

你是否在训练模型时遇到过这些问题? loss曲线异常波动却找不到原因?训练参数调优如同盲人摸象?本文将带你使用TensorBoard可视化工具,全程监控MiniMind模型训练过程,让2600万参数的GPT模型训练变得透明可控。读完本文你将掌握:实时loss监控、学习率动态调整追踪、模型结构可视化以及训练效率优化技巧。 ## 准备工作:环境配置与依赖安装 首先确保已克隆项目仓库: ```bas...

gitblog_00099的博客 523

纯干货|大模型训练(超全面!超详细!)不懂大模型训练的看过来

大模型训练分为预训练、监督调优和对齐三个阶段。预训练是核心环节,主要学习语言规则和流畅性,为后续任务奠定基础。模型架构选择上,可采用主流开源框架如ChatGLM、Baichuan等,参数量建议从0.5B起步。训练数据方面,通用模型需10B token量级(约1千万样本),来源包括百科、新闻等文本。0.5B参数的模型可在单张4090显卡(20GB显存)上训练,计算量约4×10^19次浮点运算。文章建议从轻量级模型入手,逐步扩展规模,并提供了数据筛选和硬件配置的实用建议。

2401_84204413的博客 1086
上一篇: 代码成本降低,代理式编码的十条经验助开发者应对挑战!
下一篇: Google Chrome 未经同意装 4GB AI 模型,亿级用户规模下环境成本高得离谱!
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值