小白程序员轻松入门大模型：从理论到实践（附Happy-LLM教程详解）

原创 于 2026-11-03 11:15:00 发布 · 347 阅读 · 8 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
本文系统介绍GitHub高星项目Happy-LLM，涵盖NLP基础、Transformer架构、预训练语言模型、大语言模型原理，以及基于Qwen等开源模型的SFT微调、RAG与Agent构建实践。重点突出从理论理解到低成本落地的完整路径，强调Hugging Face Transformers库、高效微调、本地化部署等关键技术环节，适用于AI初学者与工程实践者。

本文介绍了GitHub热门项目Happy-LLM，它提供了一套从NLP基础到创建、训练大模型，再到SFT、RAG和Agent搭建的完整教程。文章分为理论、实践和应用三部分，适合不同需求的读者。理论部分涵盖NLP基础、Transformer架构和预训练语言模型；实践部分包括大模型创建、训练流程以及基于开源模型的微调；应用部分则简要介绍了大模型测评、RAG和Agent。对于想深入学习大模型的读者，推荐收藏此教程。

最近发现一个非常好的学习资料，可以一次性的掌握从理论到从头创建一个大模型，再到预训练，SFT（有监督微调），甚至到最后还有RAG以及Agent的搭建方式，非常的齐全。

就是这个Happy-LLM，Github将近10000星了，上升势头非常快。

图片

由于下个学期可能需要讲一些类似的内容，所以自己过了一遍，教程一共有7章，我把它分成了三个部分：1-4理论部分， 5-6大模型创建和训练实践，7大模型扩展应用。

图片

学习过程中我总结出这么几点学习经验：

  • 如果你是科班生，自学过NLP（自然语言处理）的相关内容，你可以跳过第一章，只是一些基础概念知识；
  • 如果你还在读研或者以后想要搞大模型相关的科研，建议多花点时间读2，3章，因为这里面会有大量的数学公式以及模型介绍，非常的细，可以拿笔和本出来跟着算（模型魔改的Idea就从这里出了）
  • 如果你想了解LLM大模型训练背后的流程，那么第四章一定要好好看
  • （有卡再看）第五章讲的是如何用代码搭一个Llama2出来，以及如何训练，但即使是很小的模型，作者在8张Nvidia 4090的前提下，都花了46个小时。
  • （没卡也能看）第六章适合穷人玩，从头训练一个大模型对于个人来说没有特别大的意义，用已有的开源大模型做继续训练会更加适合普通人，这里面用的是Qwen的1.5B模型，对于一般的笔记本来说都没什么问题，所以强推！
  • （第七章选读）RAG，Agent的构建其实有更方便的手段，比如LLM框架LangChain，LazyLLM等。

所以总结下，要搞科研的，2，3，5必看，可以深入到算法层次；长见识的第四章看完足够了；有钱有卡的大佬，可以着重看第五章，从头训练一个大模型，看着进度条一点点走，Loss一点点降是非常有成就感的。

话不多说，我来带大家过一遍这个教程的核心内容。

第一章 NLP 基础概念

大模型的最前身其实来自于NLP，现在大模型的很多任务，比如翻译，回答，词性分析啥的，最开始都是NLP的工作，并且这些工作单个拿出来都是NLP的细分研究方向。

图片

这一章就是给历史源头讲起，感兴趣的同学可以看看，就当看历史书了，可以对大模型能做的事情有一个理论性的认识。

第二章 Transformer 架构

这一章我上面提到了，如果有意向在这个方向搞科研的，一定得仔细看，因为不管怎么样，Transformer这个东西你怎么都绕不过去，这里不学也得在别的地方学。

图片

  1. 1部分会详细的讲注意力机制，特别是它的由来，从前馈神经网络（Feedforward Neural Network，FNN）到卷积神经网络（Convolutional Neural Network，CNN），再到循环神经网络（Recurrent Neural Network，RNN），最后再分析他们各自的缺点。

也就是第一没办法捕获长序列的相关关系以及第二限制并行计算能力。

图片

这个部分的伪代码建议仔细看看，讲的很细致，还是那句话，你绕不开这块的。

图片

剩下的部分更多的是代码实现，就是一步步的教用代码实现下面这个经典的Transformer模型。

图片

每一块都会细致的讲解以及附有代码，所以多看几次肯定能看懂的。

第三章 预训练语言模型

这一章的内容非常有意义，因为它讲了为什么ChatGPT以前的同类产品为什么没有获得如此大的影响，其实在ChatGPT之前还有Bert这个非常有名的模型，是Google做的，也是基于Transformer结构的（毕竟先Google发明了Transformer）。

并且将主流的结构分为了三种，并且列举了对应的代表模型。

图片

从表中可以看到，GPT用的是Decoder-only流派，也就是它的核心是“一边读一边写，专注于生成”，这也是GPT中G代表的Generative生成式的来源，所以也对应了GPT擅长的领域：续写预测、长文本创作、对话等。

这一章也很推荐，毕竟流行趋势这种东西轮流换，说不定过几年其他流派又会兴盛，彻底搞懂最好。

第四章 大语言模型

这一章再经过1-3章的铺垫，其实就很容易了，如果你已经有基础，其实可以直接从这张开始看。

它讲的东西结构很清晰，主要分为了四部分：

  1. 1 LLM是什么

超大规模：参数≥数十亿，在数 T token上预训练（GPT-3 175 B≈开端）。

与传统PLM差异：同架构同任务，但规模引发“量变→质变”，呈现全新能力。

  1. 2 LLM的四大“看家本领”
  • 涌现（Emergence）：模型越大，突然解锁复杂技能。
  • 上下文学习（In-context Learning）：用几句话示范即可完成新任务，几乎不用再微调。
  • 指令遵循（Instruction Following）：理解自然语言指令，像 ChatGPT 那样“一句唤醒，多步完成”。
  • 逐步推理（Step-by-Step Reasoning）：能写“思维链”，解决多步逻辑、数学与编码问题。
  1. 3讲了它的额外特性以及4.4从理论上讲了大模型训练的三个主要步骤，也就是下面的Pretrain，SFT和RLHF。

图片

总结成表格就是下面的内容，这部分需要理解下，理解了之后就能搞懂为什么现在都说搞底模很吃亏，而是搞post-training+RL的路子见效最快这种说法。

图片

第五章 动手搭建大模型

这章我之前提过，比较适合有卡有钱的玩家，因为我直接把这一章最后一部分内容给你拿出来。

你看作者在8张4090的前提下，还花了将近2天时间，后面的SFT阶段又得24天，你要有卡我不拦着，你要是租我不建议。

图片

所以这一章内容写的非常详细，但是并不适合大多数人，看看即可，不用细追究。

第六章 大模型训练流程实践

反而我建议大多数同学可以试试第六章，因为它是主要讲“预训练”模型的，也就是在已有的模型基础上再训练。

图片

它里面会讲到大模型时代非常重要的网站Huggingface以及它开发的一个库Transformers。你只要会用这个库，就可以基于全世界那些非常强的开源模型再创作，比如阿里的Qwen系列，甚至以后资源丰富了DeepSeek满血版也不是不能自己去微调。

图片

Happy-LLM就是用的Qwen2.5的1.5B版本做的微调

图片

很详细的教你怎么加载模型，查看模型结构等，都非常的实用。

图片

接着还会讲的SFT，也是现在小成本创新的主要渠道。

图片

最后一部分完美收尾，用高效微调的方法收尾。

图片

这一章非常的干货，直接把微调的内容都放一起讲了。

第七章 大模型应用

这一章简要的讲了下大模型的测评和基于它的RAG和Agent应用。

图片

测评部分就当课外知识了解下即可。

RAG和Agent部分也是看看就行，因为有很多可以实现这种效果的框架，要更简单，更好用。

比如LangChain

图片

再比如LazyLLM，有中文文档，支持几行代码就能构建一个常见的LLM应用。

图片

最后总结，再重复下我的建议，要搞科研的，2，3，5必看，可以深入到算法层次；长见识的第四章看完足够了；有钱有卡的大佬，可以着重看第五章，从头训练一个大模型，看着进度条一点点走，Loss一点点降是非常有成就感的；没卡的也不用灰心，可以看看第六章，有很多的平台都是支持你薅羊毛的，比如colab，微调个1.5B模型还是不在话下的，一般的笔记本本身也能跑。

大模型的知识又多又杂，到底怎么学？

做这行久了，被问最多的问题就一个：大模型的知识又多又杂，我到底先学啥？翻了一堆资料，看啥都像重点，结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍，零基础、应届生、转行的都适用。跟着走，至少方向不乱、不瞎忙，学完拿得出手。

第一阶段（10天）：初阶应用

这一阶段就一个目标：把大模型真正"玩明白"，不是只会聊天那种，而是能调教它、能用代码把大模型和业务接起来。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …
第二阶段（30天）：高阶应用

这阶段正式进实战，目标很实在：做出两个能拿出手的东西——一个私有知识库，一个 agent 对话机器人。

  • 为什么要做 RAG

  • 搭建一个简单的 ChatPDF

  • 检索的基础概念

  • 什么是向量表示（Embeddings）

  • 向量数据库与向量检索

  • 基于向量检索的 RAG

  • 搭建 RAG 系统的扩展知识

  • 混合检索与 RAG-Fusion 简介

  • 向量模型本地部署

  • …

走完这 30 天，Python 或 JavaScript 背景的基本能独立做一套 RAG 应用，简历上也敢写"大模型应用开发"了。

第三阶段（约20天）：动手微调

学到这，你已经开始 “造” 模型了 —— 通过微调，搞出垂直领域的专用小模型。

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗？

想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方优快云官方认证二维码，即可100%免费领取全套学习资料！在这里插入图片描述

第四阶段（20天）：商业闭环，部署落地

技术学完，落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

想要入坑大模型的朋友，给大家准备了一份2026 年最新 AI 大模型全套学习资料：

1、大模型系统化学习路线

请添加图片描述

2、大模型学习视频教程

在这里插入图片描述

3、大模型学习书籍&电子文档

在这里插入图片描述

4、AI大模型最新行业报告

img

5、大模型项目实战&配套源码

img

6、2026大模型大厂面试真题

img

7、为什么要学习大模型？

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

在这里插入图片描述

在这里插入图片描述

8、适合谁学？
  • 传统后端 / Java / 前端开发，想转型 AI 应用
  • 大学生、应届生，想拿更好的 offer
  • 产品经理、运营，想武装职业竞争力
  • 技术负责人，想给团队落地提效

学习是反人性的，但回报是真金白银。技术会更新，赛道会切换，但只要你先动手，机会就永远站在你这边。

9、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
在这里插入图片描述
在这里插入图片描述

想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方优快云官方认证二维码，即可100%免费领取全套学习资料！在这里插入图片描述

好了，就写到这。路线是死的，人是活的，卡住了随时来问我。觉得有用就点个收藏，别让它进收藏夹吃灰——动起来比啥都强。

标签
#大数据 #人工智能 #前端 #大模型 #java
#大模型学习 #ai
扫码器USB键盘报告描述符数据格式解析
m0_65548585的博客
02-06 1142
Byte0用于判断Shift是否按下，当按下时Byte0的Bit1会置1，即0x02，若未按下，Bit为0，即0x00。0x00 0x00 0x00 0x00 0x00 0x00 0x00--->>未按下Shift。0x00 0x00 0x00 0x00 0x00 0x00 0x00--->>按下Shift。0x00 0x04 0x00 0x00 0x00 0x00 0x00--->>输出A。0x00 0x04 0x00 0x00 0x00 0x00 0x00--->>输出a。
OData 请求里的 Nextlink 实战：在 ABAP Client Proxy 中优雅处理长列表分页
2007 年 ~ 2025 年，深耕 SAP 技术 18 年
11-09 271
本文介绍了OData v4标准中的@odata.nextLink分页机制及其在SAP ABAP中的实践应用。重点解析了该机制通过服务端提供的完整URL实现分页获取，客户端只需循环处理直到该字段消失的特点。文章提供了清晰的ABAP代码模板，展示如何通过Remote Client Proxy实现分页数据获取，并强调了仅支持OData v4和远程消费的限制条件。通过HR员工数据聚合的实际案例，说明了流式分页处理的最佳实践，包括服务端过滤、稳定排序和内存控制等关键技术要点，为ABAP开发者提供了可直接落地的解决方案
FreeCAD MCP实战：用自然语言驱动AI建模，效率提升10倍
最新发布
weixin_31188927的博客
09-19 324
MCP（Model Context Protocol）是一种让AI模型调用外部工具和数据的协议标准，通过标准化通信层解决AI与CAD软件之间的交互难题。其原理是向AI暴露工具清单，AI根据自然语言需求自动选择工具并填充参数。在工程实践中，这一技术显著降低了CAD建模门槛，将重复性操作从手动点击转为语音指令，适用于批量零件生成、参数化设计等场景。FreeCAD作为开源CAD，凭借开放的Python API和脚本化能力，成为落地MCP的理想平台。本文基于FreeCAD MCP的实操经验，分享环境搭建、自然语言建
别再迷茫了！这才是大语言模型（LLM）最实用的入门方式
2401_85375186的博客
07-10 961
最近发现一个非常好的学习资料，可以一次性的掌握从理论到从头创建一个大模型，再到预训练，SFT（有监督微调），甚至到最后还有RAG以及Agent的搭建方式，非常的齐全。
2024年捡垃圾指南：E5 V3/V4服务器CPU怎么选？从游戏多开到深度学习，附华南X99主板搭配清单
weixin_42549451的博客
04-29 1580
本文详细解析2024年E5 V3/V4服务器CPU的选购策略，涵盖游戏多开、深度学习等多种应用场景。通过对比E5 V3与V4系列的制程、功耗及性能差异，提供高性价比的CPU型号推荐及华南X99主板搭配方案，帮助用户在有限预算下打造高效能工作站。
Git 3天2K星标：Datawhale 的 Happy-LLM 项目介绍（附教程）
2301_81940605的博客
06-06 2005
为了帮助广大 AI 爱好者深入掌握大语言模型的精髓，国内最大的 AI 开源学习社区 Datawhale 推出了 Happy-LLM 项目。
【地图模块算法】二维全局地图的开源方案及对比--gmapping、hector、karto、cartographer
qq_35635374的博客
10-27 3437
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 TODO:写完再整理 文章目录系列文章目录前言一、gmapping算法建图【基于Raoo-Blackwellized粒子滤波（RBPF）算法】1.gmapping理论（1）gmapping的工作原理（2）gmapping的算法流程（3）gmapping论文理论2.gmappingROS工程框架解析（1）gmapping的功能包架构（2）gmapping订阅和发布的话题（3）gmapping算法建图参数（4）gmapping源码
如何在 SAP BTP 上使用 Integration Suite 消费 S/4HANA Cloud API
2007 年 ~ 2025 年，深耕 SAP 技术 18 年
06-29 1698
SAP Integration Suite是一个集成平台即服务(iPaaS)，允许开发人员顺利地将内部部署和基于云的应用程序和流程与SAP管理的工具和预构建内容进行集成。登录 SAP Business Technology Platform Cockpit，进入 integration suite：再点击 API management 进入 API Portal：或者直接从收藏夹里打开链接：https://304a49cetrial.integrationsuitetrial-apiportal.cfapp
Happy-LLM：深入理解与实现大语言模型
gitblog_01070的博客
06-02 1169
Happy-LLM 是一个系统性的大语言模型（LLM）学习教程，旨在帮助用户深入理解语言模型的原理和训练过程。本项目以通俗易懂的方式，从自然语言处理（NLP）的基本概念出发，逐步深入到 Transformer 架构、预训练语言模型，最终实现并训练一个完整的大语言模型。 ## 项目技术分析 Happy-LLM 的核心是基于 Transformer 架构，涵盖了注意力机制、预训练语言模型（PLM）...
基于V7-690T FPGA纯逻辑实现NVMe SSD盘的读写（不使用软核）
宝沐熙的博客
02-12 835
a.NVMe的Admin CQ与Admin SQ命令放在Host内存中；因此SQ的64B要用FPGA的DDR或开一个bram空间存放，同理NVME写到HOST的CQ命令也需要存放在FPGA的DDR或一个bram空间，host收到NVME传来的MSI/MSI-X中断后，去CQ存放空间取CQ指令；b. 发送identify命令后，需要发送tial doorbell通知NVME；（发送CNS01h获取4096字节的固件信息等；发送CNS02h获取1024字节的namaspace list）
【LLM大模型】谷歌AI杰玛Gemma大模型开源了！附2个本地部署安装教程和实例
pythonhy的博客
08-07 1919
Gemma 是一个轻量级、先进的开放模型系列，采用与创建 Gemini 模型相同的研究和技术构建而成。Gemma 由 Google DeepMind 和 Google 的其他团队开发，以拉丁语 gemma（意为“宝石”）命名，中文名杰玛。Gemma 模型权重由促进创新、协作和负责任地使用人工智能 (AI) 的开发者工具提供支持。
YOLO26涨点改进 | 检测头改进篇 | 利用ASFF改进YOLO26检测头，自适应空间特征融合模块，在所有的目标检测上均有大幅度的涨点效果
Ai缝合怪、助力小伙伴高效发论文
01-20 553
本文提出了一种自适应空间特征融合(ASFF)检测头YOLO26，用于解决目标检测中特征金字塔跨尺度特征不一致的问题。ASFF通过学习空间权重图，自适应地融合不同尺度的特征，抑制特征层间的冲突信息。实验表明，该方法在MSCOCO数据集上显著提升了检测精度(45FPS下AP达42.4%)，且仅引入极小推理开销。ASFF模块具有可微分性、模型无关性和计算成本低等优势，能够有效改善特征尺度不变性，实现速度与精度的良好平衡。文章详细介绍了ASFF的原理、实现代码及其在YOLO模型中的集成方法。
深度学习部署工程师--8（docker+TensorRT部署到推理+yolo人体检测）下
FJN110的博客
07-18 494
本文介绍了YOLOv5模型通过TensorRT加速部署的流程。首先需要检查磁盘空间，确保有30GB可用。文章对比了不同推理方式的性能：int8量化+TensorRT可达200FPS，纯TensorRT为166FPS，CUDA为147FPS，CPU为93FPS。重点讲解了将YOLOv5模型导出为ONNX格式的详细步骤，包括修改Detect类的forward方法以移除decode运算，使用git patch批量修改代码，安装必要的依赖库，以及通过onnx-graphsurgeon工具修改ONNX图结构。最终目标
Happy LLM：Github爆火！手把手教你从0手搓个大模型！LLM自学必看！
Y525698136的博客
08-01 1199
Happy LLM：Github爆火！手把手教你从0手搓个大模型！LLM自学必看！
电源防反接保护电路全攻略实战A04
启芯硬件的博客
01-22 777
本文深入剖析了硬件设计中电源保护电路的关键技术与实战经验。文章指出，保护电路虽小但至关重要，通过对比分析二极管与MOSFET防反接方案，揭示了MOSFET在效率、温控方面的优势。针对过压保护，重点讲解了TVS二极管选型要点，强调钳位电压而非击穿电压才是保护核心。文章结合工业案例（如48V通信模块烧毁、5V系统MOSFET过热等），详细阐述了PCB布局规范、热设计路径等工程细节，并提供了USB接口ESD防护的完整选型方案。最后强调硬件设计必须考虑最坏工况，在成本与性能间找到平衡点，避免因小失大。
Git最新开源教程：《Happy-LLM》项目，一周破1K标星
2301_81888214的博客
06-04 1569
本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这个项目开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。
老版QQ原生表情gif动态
这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。
汉书HE8，好用的汇编代码编写工具
汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大
《Happy-LLM》项目正式发布，一起快乐学习大模型！
bagell的博客
07-01 1001
本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这个项目开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。🔍 深入理解 Transformer 架构和注意力机制📚 掌握 预训练语言模型的基本原理🧠 了解 现有大模型的基本结构。
复分析 阿尔福斯(Ahlfors) 第三版答案 英文
答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案
【大模型入门必看】《Happy-LLM》项目引领潮流，让大模型学习变得乐趣无穷！
m0_63171455的博客
06-04 1277
本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这个项目开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")
Happy-LLM：大模型从理论到实践的系统性教程，从NLP基础到前沿技术全覆盖
weixin_55154866的博客
12-10 880
Datawhale开源团队推出《Happy-LLM》大模型系统性教程，分为基础知识与实战应用两部分。从NLP基础到Transformer架构，再到LLaMA2模型实现和RAG、Agent等前沿技术。适合有Python和深度学习基础的学习者，通过理论与实践结合，帮助深入理解大语言模型原理和训练过程。
大模型入门“顶流教程”，Happy-LLM轻松攻克大模型
2301_81888214的博客
12-19 810
开源仅一周，《Happy-LLM》从零开始的大语言模型原理与实践教程 GitHub star数量已经突破2.3k，成为大模型学习圈的“顶流教程”！
大模型学习必看！Happy-LLM教程：从理论到实战，建议立即收藏！
2401_85325557的博客
10-23 713
Datawhale《Happy-LLM》是免费开源的大语言模型学习教程，已获20.2k+星标。教程系统化分为基础篇(NLP、Transformer架构)和实战篇(实现LLaMA2、预训练与微调)，涵盖RAG、Agent等前沿技术。通过理论学习与动手实践结合，帮助小白从零开始成为大模型建造师，掌握核心原理与实际应用能力。
AI大模型硬核项目《Happy-LLM》，从理论到实践的系统性教程，带你快乐学习大模型！
2401_85373691的博客
06-08 1288
本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这个项目开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。
让大模型学习不再“痛苦”：用 Happy-LLM 快乐入门大语言模型
Y525698136的博客
08-14 1264
而今天要介绍的开源项目 Happy-LLM，正是为解决这些问题而生。它由国内知名开源学习社区 Datawhale China 发起，目标明确：让每个人都能“快乐地”学习大模型。
Git最新开源教程：《Happy-LLM》项目，一周破1K标星（附教程）
2301_81888214的博客
09-07 689
本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。
突破语言壁垒：happy-llm大模型本地化全攻略
gitblog_00116的博客
01-30 1040
happy-llm是一个从零开始的大语言模型原理与实践教程项目，旨在帮助开发者掌握大语言模型的核心技术，实现本地化部署与应用。通过本教程，你将学习如何构建、训练和优化自己的大语言模型，无需依赖外部API，轻松实现本地化部署。 ## 📚 项目核心价值：为什么选择happy-llm？ 在AI技术飞速发展的今天，大语言模型已成为各行各业的核心驱动力。然而，高昂的API调用成本、数据隐私安全问题以及
程序员必学大模型全攻略：Datawhale《Happy-LLM》从理论到实战系统教程！
2401_84204413的博客
10-23 490
Datawhale团队推出《Happy-LLM》系统教程，从NLP基础到LLM原理和实践。项目分为基础知识(Transformer架构、预训练原理等)和实战应用(搭建LLaMA2模型、训练全流程、RAG和Agent技术)两部分。适合有Python和深度学习基础的学习者，通过理论和实践结合，帮助深入理解大语言模型原理，掌握从预训练到微调的全流程，并能应用前沿技术。
9大Github神仙开源大模型教程汇总，轻松一网打尽！
Y525698136的博客
07-12 1416
01Happy-LLM 带你快乐学习大模型（LLM）。现在已经在 GitHub 上斩获 4.8K 的 Star。一个系统性的大模型学习教程，从 NLP 基础概念出发，逐步剖析 Transformer 架构、预训练模型原理及 LLM 训练全流程。项目通过动手实现 LLaMA2 模型、训练 Tokenizer 和应用前沿技术（如RAG、Agent），帮助开发者深入理解 LLM 核心原理并掌握实战技能。02。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值