2026年大模型微调框架全景指南

大模型微调(fine-tuning) 微调(fine-tuning)是指在预训练的大型模型(如BERT、GPT、LLaMA、T5等)基础上,通过在特定任务或领域的数据集上进一步训练,调整模型参数,使其更好地适配目标任务或场景。预训练模型通常在海量通用数据(如维基百科、Common Crawl等)上训练,具备广泛的知识和能力,但直接用于特定任务时可能表现不佳,微调就是为了“定制”模型。 阅读详情

想要打造属于自己的AI助手?大模型微调是必经之路。本文为你梳理当前最主流的微调框架和平台,助你高效完成模型训练。


一、开源微调框架

1. Transformers - Hugging Face 生态基石

Transformers 是 Hugging Face 推出的核心库,提供了数千种预训练模型,支持100多种语言的文本分类、信息抽取、问答摘要、翻译、文本生成等几乎全部NLP任务。

Transformers 提供了便于研究和使用的API,开发者可以基于预训练模型在特定文本和数据库集上微调,然后通过 model hub 分享模型。同时,每个框架的 Python 模块都可对完整的模型进行修改和快速进行研究实验。

Transformers 支持三个最流行的深度学习框架:Jax、PyTorch 以及 TensorFlow,三者之间可以无缝切换。你可以直接用一个框架训练模型,然后用另一个框架加载推理。

GitHub: https://github.com/huggingface/transformers


2. LLaMA-Factory - 最热门微调框架 ⭐

LLaMA-Factory 是一个集成了高效训练算法、统一微调100+ LLM的微调框架。用户可以通过通用的 Web UI 或 CLI 对各种模型进行微调。实证证明,该框架可将模型的微调效率提升数倍。

核心特性:

  • • 支持100+大语言模型统一微调
  • • 集成 FlashAttention-2、Unsloth、Liger Kernel 等加速技术
  • • 支持 LoRA、Prefix Tuning、P-Tuning 等多种PEFT方法
  • • 支持多轮对话、工具调用、图像处理等多种任务
  • • GitHub Stars 超68.4K,是目前最受欢迎的微调框架

GitHub: https://github.com/hiyouga/LLaMA-Factory
官方文档: https://llamafactory.readthedocs.io/zh-cn/latest


3. Unsloth - 快速LoRA微调利器

Unsloth 是一个开源的 LLM 微调加速工具,相比传统方法,Unsloth 可以将微调速度提升2倍以上,能够减少高达80%的内存占用,且兼容多种大模型。

核心优势:

  • • 最适合在 Colab/Kaggle 上快速运行 LoRA
  • • 针对速度和内存效率进行了极致优化
  • • 与 Hugging Face TRL 无缝集成
  • • 本地实验和快速原型开发的最佳选择

GitHub: https://github.com/unslothai/unsloth


4. Axolotl - 稳定的企业级工作台

Axolotl 被称为"安静的工作马",以其稳定性和可靠性著称。2025年新增了QAT(量化感知训练)支持,可以同时完成微调和量化,并在2025年3月新增了多模态模型微调的Beta支持。

核心特点:

  • • 成熟稳定,企业级应用广泛
  • • 支持同时微调和量化
  • • 配置灵活,适合生产环境
  • • 与 Unsloth、TorchTune 并列为2026年三大流行框架
  • • 新增多模态模型微调支持

GitHub: https://github.com/axolotl-ai-cloud/axolotl


5. Hugging Face TRL - 全栈训练库

TRL (Transformer Reinforcement Learning) 是 Hugging Face 的全栈训练库,提供了完整的强化学习微调工具链。

核心功能:

  • • 支持 SFT(监督微调)、DPO(直接偏好优化)等
  • • 与 PEFT 完全集成,支持 QLoRA
  • • 官方支持,文档完善
  • • 适合研究和学术用途

GitHub: https://github.com/huggingface/trl


6. PEFT - 参数高效微调库

PEFT (Parameter-Efficient Fine-Tuning) 是 Hugging Face 开源的参数高效微调工具库。

核心方法:

  • • LoRA (Low-Rank Adaptation)
  • • AdaLoRA (Adaptive LoRA)
  • • IA3
  • • Prefix Tuning
  • • P-Tuning

PEFT 可以让微调大模型的显存需求大幅降低,是当前最主流的微调方式。

GitHub: https://github.com/huggingface/peft


7. NVIDIA Megatron-LM - 大规模并行训练

Megatron-LM 是 NVIDIA 开发的大模型训练能力,支持大模型预训练和微调。主要用于需要极致性能和大模型的大规模训练和微调场景。

核心特点:

  • • GPU 并行训练技术领先
  • • 支持超大规模模型训练
  • • 深度优化 NVIDIA 硬件性能

GitHub: https://github.com/NVIDIA/Megatron-LM


8. Firefly - 一站式训练工具

Firefly 是一站式模型训练工具,目前支持全量微调、LoRA、QLoRA 高效训练。支持预训练和 SFT、DPO 训练,支持绝大部分开源模型(如 Llama3、Gemma、MiniCPM 等)。通过配置文件的方式训练不同的模型,轻量可靠,方便训练模型。

核心特性:

  • • 支持多种微调方式
  • • 配置简单,易于上手
  • • 支持最新开源模型

GitHub: https://github.com/yangjianxin1/Firefly


9. ms-swift - 模型scope生态

ms-swift 支持300+ LLM和50+ MLLM(多模态、静态模型)的训练(预训练、微调、压缩)、推理、评测和部署。开发者可以直接将应用到以及 Research 等多种场景,实现模型训练、评测到应用的完整路径。

核心特性:

  • • 支持300+大模型和50+多模态模型
  • • 覆盖训练-推理-评测-部署全流程
  • • 模型scope官方支持

GitHub: https://github.com/modelscope/ms-swift/


10. XTuner - 浦语生态工具链

XTuner 是一个针对需要特定参数、针对模型性能极致优化的长场景训练框架。模型可无法适配部分工具(如 LMDeploy 部署模型评测工具、OpenCompass、VLMEvalKit)。

核心特点:

  • • 深度性能优化
  • • 与浦语生态工具链无缝集成

GitHub: https://github.com/InternLM/xtuner
官方文档: https://xtuner.readthedocs.io/zh-cn/latest/


11. TorchTune - PyTorch 原生框架

TorchTune 是 PyTorch 原生的微调框架,由 PyTorch 团队官方开发。作为与 Axolotl 和 Unsloth 并列的三大流行框架之一,TorchTune 以其纯粹的 PyTorch 实现和优秀的可扩展性受到开发者青睐。

核心特点:

  • • PyTorch 原生实现,无额外依赖
  • • 模块化设计,易于实验
  • • 支持分布式和单设备训练
  • • 提供预配置的微调配方
  • • 与最新 PyTorch 2.6.0+ 深度集成

GitHub: https://github.com/meta-pytorch/torchtune


12. DeepSpeed - 大规模分布式训练

DeepSpeed 是微软开发的深度学习优化库,专门用于简化分布式训练和推理,使其变得简单、高效且有效。可以训练比通常大10倍的模型,训练速度快10倍。

核心特点:

  • • 极端规模训练,支持数千个GPU
  • • 混合精度支持(FP16/BF16)
  • • 内存优化技术
  • • 与 Megatron-LM 协作(Megatron-DeepSpeed)
  • • 支持万亿参数模型训练

GitHub: https://github.com/microsoft/DeepSpeed


二、商业平台

1. 百度千帆平台

千帆平台 是一个大模型微调综合平台,端到端提供多样化的模型选择,支持高质量数据训练、模型评估与使用。拥有高效分布式训练系统以及丰富的开发工具。

官网: https://cloud.baidu.com/product-s/qianfan_home


2. 阿里云 PAI

PAI 是阿里打造的 AI Native 平台,提供全链路的数据处理、模型训练、模型评估、模型压缩、模型推理、AI 资产沉淀等关键模块,支持100+大模型实现。为用户提供功能强大、性能稳定、企业级的大模型工程化能力。

官网: https://help.aliyun.com/zh/pai/


3. SiliconCloud - 推荐平台

SiliconCloud 是专为大模型微调和推理的一站式云平台。通过用户可以快速、无限制部署自定义模型推理等服务,并可以基于自己上传的私有数据集进行模型微调。

核心优势:

  • • 2026年最推荐的微调平台之一
  • • 一站式服务,从训练到部署
  • • 支持私有数据微调

官网: https://siliconflow.cn/zh-cn/siliconcloud


4. Modal - 云端基础设施

Modal 提供基于云的微调基础设施,适合需要弹性计算资源的场景。与其他平台不同,Modal 更像是一个云端计算平台,让开发者可以轻松部署微调任务。

核心特点:

  • • 无服务器 Python 执行环境
  • • 内置 GPU 支持,适合 ML/AI 工作负载
  • • 简化分布式计算
  • • 按需付费,成本可控
  • • 支持容器化环境

官网: https://modal.com
GitHub: https://github.com/modal-labs/modal


三、框架选择指南

快速选择表

使用场景推荐框架理由
Colab/Kaggle 快速实验Unsloth内存效率高,上手快
企业级生产环境LLaMA-Factory 或 Axolotl功能全面,稳定可靠
学术研究Hugging Face TRL + PEFT文档完善,方法前沿
超大规模分布式训练DeepSpeed + Megatron-LM性能极致
云端部署SiliconCloud 或 Modal一站式服务
国产化需求百度千帆 / 阿里PAI本土化支持

初学者路径

    1. 从 Transformers 开始 - 理解基础概念
    1. 使用 PEFT + LoRA - 掌握参数高效微调
    1. 尝试 LLaMA-Factory - 体验完整工作流
    1. 进阶 Unsloth - 学习快速原型开发

企业级应用路径

    1. 评估业务需求 - 确定模型规模和性能指标
    1. 选择稳定框架 - LLaMA-Factory 或 Axolotl
    1. 搭建 MLOps 流程 - 数据-训练-评估-部署闭环
    1. 考虑商业平台 - SiliconCloud 等一站式服务

性能优化技巧

  • • 使用 FlashAttention-2 加速
  • • 启用量化训练(QLoRA)
  • • 选择合适的 batch size 和学习率
  • • 使用混合精度训练(FP16/BF16)
  • • 合理使用梯度累积和梯度检查点

总结

大模型微调生态已经非常成熟:

  • • 开源框架百花齐放:LLaMA-Factory 综合实力最强,Unsloth 快速实验首选
  • • 商业平台服务完善:SiliconCloud等提供一站式解决方案
  • • 技术路线趋于统一:LoRA/QLoRA 成为主流,多模态和量化训练成为标配
  • • 工具链日益完善:从数据处理到模型部署,全链路工具成熟

这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!

👇👇扫码免费领取全部内容👇👇

在这里插入图片描述

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。(书籍含电子版PDF)

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 2026行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

在这里插入图片描述

7. 资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇
在这里插入图片描述

深度学习大模型框架的简单介绍(ChatGPT背后原理的基本介绍) 介绍ChatGPT背后,简单介绍整个大规模预训练语言模型的发展历程。 阅读详情

相关推荐

2026大模型AI开发工具全景图:学习路线与实用框架选型指南

大模型时代的技术栈正从底层原理转向工具与框架的组合应用,AI开发工程师的核心能力也演变为对生态地图的理解与选型判断。从深度学习基础框架PyTorch,到推理部署工具Ollama与vLLM,再到Agent编排框架LangGraph与微调平台LLaMA-Factory,每个环节都有其适用场景与取舍逻辑。理解“概念→原理→技术价值→应用场景”的链路,能帮助开发者避免盲目追新与无效学习。本文以2026年为时间坐标,梳理从零到一的AI开发学习路线,结合RAG系统搭建、Agent工作流实践和微调真实案例,为希望进入大模

weixin_29061509的博客 258

一文带你了解大模型微调框架

大模型的微调(Fine-tuning),通常是指在已经预训练好的大型语言模型(LargeLanguageModels,简称LLMs)基础上,使用特定的数据集进行进一步的训练,以使模型适应特定的任务或领域。这个过程可以让模型学习到特定领域的知识,优化其在特定NLP任务中的表现,比如情感分析、实体识别、文本分类、对话生成等。1、预训练模型:在微调之前,大模型通常已经经过大量的无监督预训练,这使得模型掌握了语言的基本统计特征和知识,具备了预测下一个词的能力。2、任务特定的数据集。

m0_48891301的博客 3338

2026大模型生态全景:从头部模型到本地部署与微调实践指南

大模型技术已从概念验证走向工程落地,其核心原理基于Transformer架构与注意力机制,通过海量数据学习语言规律。随着开源权重模型性能逼近闭源旗舰,模型私有化部署与定制微调成为可能,显著降低了企业应用门槛。同时,智能体应用与API生态的成熟,让开发者可以快速构建自动化工作流。2026年国内外主流模型阵营中,GPT、Claude、Gemini与DeepSeek、Qwen等各具优势,本地部署选型需结合显存与场景,微调流程则需关注数据质量与工具选择。文章提供全景式参考索引,助力技术选型与落地实践。

weixin_27310417的博客 332

模型微调之基础篇:模型微调概念以及微调框架

之前我们一直强调,大语言模型(LLM)是概率生成系统。能力边界知识时效性:模型知识截止于训练数据时间点推理局限性:本质是概率预测而非逻辑运算,复杂数学推理易出错(deepseek的架构有所不同)专业领域盲区:缺乏垂直领域知识幻觉现象:可能生成看似合理但实际错误的内容之前一直讲解如何通过各种不同的知识库进行知识片段的检索,并通过提示词临时注入到大模型。从今天开始,我会写一写微调相关的文章。定义:在预训练大模型(如GPT、BERT)的基础上,使用特定领域或任务的数据进行额外训练,使模型适应新任务。类比。

2401_85375186的博客 1816

研究篇| 一款深入浅出的微调框架

中介绍了模型训练需要大量的计算资源,一般情况下,个人和企业是无法承担的成本,所以微调的方案就出来, 关于微调的方式也很多,大部分微调方式都是固定模型参数(freeze model), 可以降低计算梯度等内存空间, 从而实现小参数撬动大模型, 关于更多的微调方法可以查看《LoRA在需要微调的层上引入了一对小的可训练矩阵,称为低秩矩阵。训练器: 主要支持lora方式微调, 支持 (增量)预训练、(多模态)指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练和 ORPO 训练方法。

youbingchen的博客 2139

利用GBD数据库做未来疾病负担预测

最近看到一篇文献,利用GBD数据库中的数据对疾病负担的发展趋势进行预测。觉得很有趣,就抽空用R语言复盘了一下里面关键的方法。 参考文献: Changing trends in the disease burden of esophageal cancer in China from 1990 to 2017 and its predicted level in 25 years DOI: 10.1002/cam4.3775 1. 相关R包的安装 主要用到的R包有3个,一个一个讲: 1.1 Nordpred

NickyCat的博客 5万+

2026年大模型训练技术全景与实战解析

大模型训练是当前AI领域的核心技术,通过深度学习框架如Megatron-LM和DeepSpeed,实现从数据预处理到模型部署的全流程优化。其核心原理包括分布式训练、参数高效微调(如LoRA、QLoRA)以及强化学习对齐(RLHF/GRPO++),能显著提升模型在垂直领域的性能表现。在医疗、金融等行业中,经过专业训练的大模型相比通用模型可获得30%以上的准确率提升。随着第三代强化学习框架的演进,训练效率提升40%,为AI工程化落地提供了关键技术支撑。本文以70B参数模型为例,详解数据工程、增量预训练等实战环节

weixin_33525298的博客 496

UsualToolCMS-验证码绕过漏洞复现

本文以UsualToolCMS为靶场,复现了验证码绕过漏洞

小小小屿屿屿的博客 919

2026年AI大模型技术全景与程序员转型指南

AI大模型技术正经历从基础架构到应用开发的全面演进。在分布式训练框架如DeepSpeed和推理加速引擎如vLLM的推动下,大模型已实现千卡级并行训练和商业级延迟。技术栈的成熟催生了通用底座模型与垂直领域模型的差异化发展,其中MoE架构和7B-20B参数的'小巨人'模型成为关键突破。对于开发者而言,理解工具链矩阵(从数据处理到应用集成)和微调技术(如LoRA、QLoRA)是转型的核心。这些技术不仅降低了AI应用门槛,更在电商客服、智能编程等场景展现工程价值。随着混合精度量化与动态架构技术的突破,边缘设备部署将

weixin_29061041的博客 291

VFIO框架源码分析(二十一)- IOMMUFD 模式下的 DMA 映射机制

在虚拟化 I/O 的世界里,无论上层管理面(如对象模型、设备绑定)如何重构,数据面最核心的任务始终未变——DMA 映射(DMA Mapping)。即如何建立 Guest Physical Address (GPA) 到 Host Physical Address (HPA) 的映射关系,并将其填入 IOMMU 的硬件页表中,使得直通设备能够正确访问虚拟机内存。在 Legacy VFIO (Type1) 时代,这一职责由承担,它通过ioctl 操作 Container。

qq_36071928的博客 1010

群晖设置公网ipv6方式域名解析访问

群晖、IPV6、域名解析

爬山虎的博客 2万+

2026年AI学习生态全景图:从大模型微调到本地部署的实战指南

大模型技术正从单一的API调用转向完整的工程化落地,这一变化深刻影响着AI工程师的能力模型与学习路径。理解模型微调、本地部署、Agent框架与测试框架的协同关系,成为构建技术竞争力的关键。本文以生态视角拆解从底层工具链到上层应用的完整链路,结合Pytorch基础、QLoRA微调、pytest自动化测试及多模态模型选型等实操要点,梳理出一条从零基础到应用层AI工程师的进阶路线,帮助开发者在真实项目中少走弯路,高效建立端到端的技术闭环。

weixin_29051245的博客 329

HFSS初学笔记(二)——75Ω带状线设计

本文利用HFSS软件设计并优化了一条75Ω的带状线结构,通过调整几何参数和介质材料,实现了精确的阻抗控制。仿真结果显示,该带状线在高频信号传输中的表现优越,具有良好的S参数、低插入损耗和极小的信号反射损耗。

2401_87464239的博客 4544

2026年大模型微调必看:超全框架&平台指南,助你打造AI神助手!

•开源框架百花齐放:LLaMA-Factory 综合实力最强,Unsloth 快速实验首选•商业平台服务完善:SiliconCloud等提供一站式解决方案•技术路线趋于统一:LoRA/QLoRA 成为主流,多模态和量化训练成为标配•工具链日益完善:从数据处理到模型部署,全链路工具成熟01什么是AI大模型应用开发工程师?如果说AI大模型是蕴藏着巨大能量的“后台超级能力”,那么AI大模型应用开发工程师就是将这种能量转化为实用工具的执行者。

2401_84204207的博客 468

EFR32无线SoC开发指南:从环境搭建到性能优化

物联网边缘设备开发中,无线SoC芯片的选择与开发环境配置是关键第一步。EFR32作为Silicon Labs推出的多协议无线SoC系列,配合Simplicity Studio IDE,为开发者提供了完整的解决方案。本文以EFR32xG22开发套件为例,详细介绍开发环境搭建、工程创建、硬件配置等核心环节,特别针对RAILtest示例工程进行深入解析。通过实际案例演示如何配置无线参数、优化低功耗模式,并分享串口终端交互、吞吐量测试等实战技巧。对于开发者常见的问题如设备识别失败、无线通信异常等,提供了系统化的排查

weixin_30342363的博客 352

多出来的那一截:Java 堆外内存 OOM 的来源分账、分流排查与治理解析

Java进程的RES常比-Xmx多出一截,堆却平稳。本文把堆外内存拆成直接缓冲区、Unsafe、JNI本地库、线程栈、元空间与文件映射六类,用JDK 8与17的六组实验对照RSS、NMT、BufferPool三本账:clear()不释放内存;MaxDirectMemorySize默认约等于堆上限且只管直接缓冲区;禁用显式GC会让申请线程退避半秒后失败;未关闭的Deflater零GC下让RSS涨1GB;Netty池内泄漏GC救不回。最后给出定性、对账、定位的排查路线与预算、编码、监控三层治理。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 14万+

大模型微调技术完全指南:从原理到实践的系统性入门(2026 版)

微调 = 在一个已经学会"通用语言能力"的预训练大模型基础上,用少量特定数据继续训练,让它学会新的技能或适应新的场景。预训练(通用能力)—— 花费千万美元,数月时间↓SFT 监督微调(学会执行指令、掌握领域知识)—— 花费数百美元,数小时↓对齐训练(学会区分好坏、安全负责地回答)—— 花费数百美元,数小时↓部署服务每一步都在前一步的基础上做增量优化。你不一定每一步都需要——很多场景只做 SFT 就够了。选一个好的基座模型(推荐 Qwen3.5-9B 或 Qwen3-8B/14B)

永远年轻 永远热泪盈眶 1470

Windows 10 本地硬盘变成了可弹出磁盘

今天新装了系统, 电脑是一个SSD+HHD, 没想到装好之后右下角显示可安全删除设备, 两个硬盘在那里. 这还得了. 查了一下午, 大致知道了是什么问题. Standard SATA AHCI controller使用高性能的硬盘模式就会把硬盘看作是一个可热插拔的存储器, 所以自然就会显示可弹出. 如果你的BIOS支持关闭HotSwap或者HotPlug, 那么直接关闭就可以了. 或者你直接在BIOS里把磁盘模式改为IDE, 不过这样就发挥不好你SSD的高性能了. 还有一种解决方法, 就是手动让系统把这两个

落日之城 4万+

2026大模型学习路线:从工具链到微调实战全景指南

大模型技术已从深度学习延伸为独立工程学科,核心在于分层能力构建。理解模型选型、推理优化等原理,掌握微调(LoRA)与检索增强生成(RAG)等关键技术,可显著降低应用落地成本。无论是构建企业知识库问答、智能Agent,还是私有化部署,均需遵循从框架到工程化的完整路径。一份基于实际项目经验总结的学习地图与避坑指南,能帮助开发者根据角色定位选择合适路线,高效构建可交付的AI应用。

weixin_33046983的博客 291

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

2026年大模型技术迭代与产业链解析:收藏这份全景参考指南

2026年,是AI产业从“技术突破”向“价值兑现”转型的关键一年,顶尖大模型实现底层架构与核心能力的双重突破,AI产业链各环节协同发力,千行百业的应用场景逐步深耕,形成“技术—产业—应用”的良性循环。从全球格局来看,美国凭借技术与生态优势占据主导地位,中国依托本土场景与性价比实现快速崛起,垂直细分领域成为中小企业突围的核心赛道。尽管行业仍面临核心技术壁垒、商业化不均衡、合规风险等痛点,但随着技术的持续迭代、政策的逐步完善、产业链的不断成熟,AI将逐步成为数字经济的核心基础设施,深刻改变生产生活方式。

2301_76168381的博客 1万+

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

2026大模型落地全景图:从微调部署到Agent实战

大模型技术正从参数竞赛转向工程落地,开发者面临的关键问题不再是“哪个模型更强”,而是如何将模型能力接入真实业务。理解token与上下文窗口原理、区分提示词工程与上下文工程、掌握LoRA等参数高效微调手段,是构建稳定应用的基础。配合本地部署工具(如Ollama)与Agent框架,企业可以用更低成本实现智能客服、自动报表等场景。从概念到工程实践,本文梳理2026年大模型落地全景图,涵盖微调实战、部署优化与学习路线,帮助开发者按图索骥。

weixin_42537499的博客 241

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

2026年AI大模型技术全景与学习路径详解

人工智能领域正经历从专用模型向通用大模型的范式转变,其中Transformer架构及其变体成为核心技术。大模型技术栈包含基础架构层、训练优化层、应用接口层和部署运维层,涉及分布式训练、参数高效微调等关键技术。学习大模型技术需要从数学与编程基础开始,逐步深入深度学习专项和自然语言处理,最终掌握大模型核心技术和前沿领域探索。多模态理解和生成能力的突破,以及AI智能体系统的应用,正在推动大模型技术的快速发展。

weixin_34357887的博客 330

2026大模型学习路线与工具链全景:从能力坐标系到微调部署实战

大模型微调与AI Agent开发正成为技术热点,其核心在于理解模型训练与推理的基本原理。通过LoRA等参数高效微调方法,开发者可在有限显存下适配垂直场景;结合RAG检索增强与Agent工具调用,能构建自主决策的智能应用。这些技术显著降低了AI落地门槛,广泛应用于智能客服、文档问答与本地部署等场景。本文围绕大模型学习路线与工具链,系统梳理从应用层到推理加速的能力坐标系,并给出可落地的微调与部署实践路径。

weixin_32238157的博客 273

2026年大模型学习生态拆解:框架选型、工具链与本地微调实战

大模型应用开发正从算法工程师的专属走向全技术领域,其核心在于理解模型微调、Agent编排与部署推理等基础能力。LoRA等参数高效微调技术大幅降低了训练门槛,而LangGraph、vLLM等框架构建起从原型到生产的完整工具链。面对海量学习资源,开发者需按应用层、算法层、具身智能等方向规划路线,用项目驱动学习,并掌握数据清洗、实验追踪与工程化部署等实操技能。本文从全景分层出发,梳理主流框架选型与工具链搭配,结合本地微调对话模型的全流程案例,为转型AI的开发者提供一套可落地的学习与实战指南。

weixin_42537831的博客 312
上一篇: AI请你喝奶茶?背后其实是Function Calling
下一篇: 传统Java开发者的AI逆袭:月薪从15K到30K的华丽转身
Llama-Turbo
博客等级 码龄4年 9901粉丝 2022原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值