第10章 模型独立的学习方式

第十章 模型独立的学习方式 第十章 模型独立的学习方式第十章 模型独立的学习方式集成学习AdaBoost 算法自训练和协同训练自训练协同训练多任务学习迁移学习归纳迁移学习转导迁移学习终身学习元学习基于优化器的元学习模型无关的元学习总结和深入阅读 第十章 模型独立的学习方式 在前面的章节中,我们已经介绍了机器学习的几种学习方式,包括监督学 习、无监督学习等。这些学习方式分别可以由不同的模型和算法实现,比如神经 网络、线性分类器... 阅读详情

第10章 模型独立的学习方式

在机器学习中,除了针对特定模型(如神经网络、线性模型)的学习方法外,还有一类“模型独立”的学习思路——它们不依赖具体模型的结构,而是通过调整数据利用方式、任务关联方式或学习策略,来提升模型的泛化能力、降低标注成本或适应复杂场景。本章将介绍几种主流的这类方法,包括集成学习、自训练和协同训练、多任务学习、迁移学习、终身学习和元学习,这些都是当前深度学习领域的难点和热点问题。

10.1 集成学习

10.1.1 核心思想

集成学习(Ensemble Learning)的核心思路的是:“三个臭皮匠顶个诸葛亮”。它不依赖单个模型的性能,而是训练多个基础模型(也叫“基学习器”),然后通过一定的规则(如投票、加权平均)将这些模型的预测结果结合起来,最终得到比单个模型更稳定、更准确的预测。

简单来说,单个模型可能存在偏差(比如欠拟合)或方差(比如过拟合),而多个模型的组合可以互相弥补缺陷:比如有的模型擅长捕捉数据的全局规律,有的擅长捕捉局部细节,组合后能覆盖更全面的模式;或者多个易过拟合的模型组合后,能降低预测的随机性。

10.1.2 典型算法:AdaBoost

AdaBoost(Adaptive Boosting,自适应提升)是集成学习中最经典的算法之一,它的核心是“关注难例、动态调整权重”,步骤简单易懂:

  1. 初始化权重:给训练集中的每个样本分配相同的权重(比如都为1/N,N是样本总数)。
  2. 迭代训练基学习器:
    • 用当前样本权重训练一个简单的基学习器(比如决策树、感知器)。
    • 计算这个基学习器的预测错误率:错误率越低,说明这个基学习器越可靠。
    • 根据错误率给基学习器分配“投票权重”:错误率越低,投票权重越高(越靠谱的模型话语权越大)。
    • 调整样本权重:给被当前基学习器预测错误的样本增加权重(让下一个基学习器更关注这些“难例”),给预测正确的样本降低权重。
  3. 组合预测:所有基学习器训练完成后,按照各自的投票权重进行“加权投票”,最终结果作为集成模型的输出。

举个例子:假设要做垃圾邮件分类,第一个基学习器误判了10%的样本,第二个基学习器专门关注这些误判的样本并修正了80%,第三个基学习器再修正剩下的难例,组合后整体错误率会大幅降低。

10.1.3 关键优势

  • 不需要修改基学习器的结构,普通模型(甚至简单模型)都能参与集成。
  • 能有效降低过拟合风险:单个模型可能对部分数据“过度敏感”,组合后会平滑这种敏感性。
  • 实现简单,效果稳定,在分类、回归等任务中都有广泛应用。

10.2 自训练和协同训练

这两种方法的核心目标是:利用大量无标注数据,辅助少量有标注数据训练模型,从而降低标注成本(毕竟标注数据往往耗时耗力)。

10.2.1 自训练(Self-Training)

自训练的思路非常直接,相当于“自己教自己”,步骤如下:

  1. 用少量有标注数据训练一个初始模型。
  2. 用这个初始模型对大量无标注数据进行预测,挑选出预测置信度最高的一部分样本(比如预测概率≥95%的样本),将“模型预测结果”作为这些样本的“伪标签”。
  3. 把这些带伪标签的样本和原来的有标注数据合并,重新训练模型。
  4. 重复步骤2-3,直到模型性能不再提升或达到预设迭代次数。

注意:自训练的关键是“置信度筛选”——如果把预测不准的样本加入训练,会给模型“教错东西”,导致性能下降。

10.2.2 协同训练(Co-Training)

协同训练是自训练的扩展,核心是“两个模型互相教”,适用于数据有“多视图”(即同一数据可以用两种不同的特征表示)的场景(比如文本数据:一种视图是词袋特征,另一种视图是词性特征),步骤如下:

  1. 将数据分成两个独立的特征视图(比如视图A和视图B)。
  2. 用少量有标注数据,分别在两个视图上训练两个不同的模型(模型1和模型2)。
  3. 模型1用视图A的特征对无标注数据预测,挑选置信度高的样本,给它们打上伪标签,然后把这些样本的视图B特征和伪标签交给模型2训练;同理,模型2用视图B的特征预测无标注数据,给置信度高的样本打伪标签,把视图A特征和伪标签交给模型1训练。
  4. 重复步骤3,两个模型互相提供高质量的伪标签样本,共同提升性能。

优势:两个模型基于不同视图,互补性更强,比自训练更不容易引入错误伪标签,适用范围更广。

10.3 多任务学习

10.3.1 核心思想

多任务学习(Multi-Task Learning)的思路是:“一举多得,互相促进”。它同时训练多个相关的任务,让模型在学习一个任务的同时,利用其他任务的信息来提升自身性能。

比如:

  • 训练模型同时做“图像分类”和“图像分割”:分类任务能帮助模型学习全局特征,分割任务能帮助模型学习局部细节,两者互补。
  • 训练模型同时做“英语翻译”和“法语翻译”:两种翻译任务共享语言的底层语法、语义特征,能提升模型对语言的整体理解。

简单来说,相关任务之间会有“知识迁移”——一个任务学到的规律,能帮助其他任务更快、更好地学习。

10.3.2 实现逻辑

多任务学习的核心是“共享特征层+任务特定层”:

  • 底层是共享特征层(比如神经网络的前几层):负责学习所有任务都需要的通用特征(如文本的词嵌入、图像的边缘特征)。
  • 上层是任务特定层(每个任务一个独立的层):负责将通用特征转化为对应任务的预测结果(如分类任务的Softmax层、回归任务的线性层)。

训练时,模型会同时计算所有任务的损失,然后将总损失反向传播,更新所有层的参数——共享层在多个任务的监督下学习,能学到更通用、更鲁棒的特征。

10.3.3 关键优势

  • 提升数据效率:当单个任务的标注数据较少时,其他任务的标注数据能提供额外监督。
  • 提升模型泛化能力:通用特征层学到的规律,不容易在单个任务上过拟合。
  • 降低训练成本:多个任务同时训练,比单独训练每个任务更高效。

10.4 迁移学习

10.4.1 核心思想

迁移学习(Transfer Learning)的核心是:“举一反三,学以致用”。它把从一个任务(源任务)中学到的知识,迁移到另一个相关但不同的任务(目标任务)中,帮助目标任务快速训练出好模型。

比如:

  • 先在大规模图像数据集(如ImageNet)上训练一个图像分类模型(源任务),然后把这个模型的底层特征提取层“拿过来”,只修改上层分类层,用少量医学图像数据训练一个肿瘤识别模型(目标任务)——因为图像的边缘、纹理等底层特征是通用的,不需要重新训练。
  • 先在海量文本数据上训练一个语言模型(源任务),然后用少量情感分析数据微调,得到一个情感分类模型(目标任务)。

10.4.2 主要类型

根据迁移的方式,迁移学习主要分为两类:

  1. 归纳迁移学习(Inductive Transfer Learning):源任务和目标任务的学习目标不同,但源任务的知识能帮助目标任务归纳规律。比如上面的“ImageNet分类→肿瘤识别”“语言模型→情感分析”都属于这类,也是最常用的迁移学习方式。
  2. 转导迁移学习(Transductive Transfer Learning):源任务和目标任务的学习目标相同,但数据分布不同。比如先在“城市交通图像”上训练一个车辆检测模型(源任务),然后直接应用到“乡村交通图像”(目标任务)——任务都是车辆检测,但数据分布(背景、车辆类型)不同,模型通过源任务学到的车辆特征,能快速适应目标任务。

10.4.3 典型用法

迁移学习在深度学习中最常用的方式是“微调(Fine-tuning)”:

  1. 下载预训练模型(在源任务上训练好的模型,如ResNet、BERT)。
  2. 冻结预训练模型的底层(共享特征层),只训练上层的任务特定层(如分类层)——避免底层通用特征被破坏。
  3. 训练一段时间后,解冻部分底层网络,用较小的学习率继续微调——让模型适应目标任务的数据分布。

10.5 终身学习

10.5.1 核心思想

终身学习(Lifelong Learning)也叫“持续学习(Continual Learning)”,核心是:“活到老,学到老,不遗忘”。它模拟人类的学习过程,让模型能够持续学习多个任务(这些任务可能先后出现,甚至任务之间不相关),同时保留之前学到的知识,不会因为学习新任务而忘记旧任务(这种现象叫“灾难性遗忘”)。

比如:

  • 模型先学习“识别猫”,再学习“识别狗”,再学习“识别鸟”——要求模型在学会识别鸟后,依然能准确识别猫和狗,而不是只记得鸟。
  • 机器人先学习“走路”,再学习“抓取物体”,再学习“导航”——持续积累技能,不丢失之前的能力。

10.5.2 核心挑战与解决思路

终身学习的最大挑战是“灾难性遗忘”——模型在学习新任务时,会更新参数,导致之前任务的参数被覆盖。常用解决思路:

  1. 参数保护:冻结之前任务中重要的参数,只更新新任务需要的参数——避免旧知识被破坏。
  2. 记忆回放:学习新任务时,定期用少量旧任务的样本“复习”——让模型记住旧知识。
  3. 动态扩展网络:学习新任务时,不修改旧参数,而是新增网络层来处理新任务——旧知识和新知识分开存储。

10.6 元学习

10.6.1 核心思想

元学习(Meta-Learning)也叫“学会学习(Learning to Learn)”,核心是:“学习如何快速学习新任务”。它不直接训练模型完成某个具体任务,而是训练模型“学习的能力”——让模型在面对一个新的、数据量很少的任务时,能快速适应并取得好效果。

比如:

  • 普通模型在“识别新物种”任务中,需要大量标注数据;而元学习模型通过之前学习多个“识别不同物种”的任务,掌握了“如何从少量样本中提取特征”的能力,面对新物种时,只需要几张图片就能快速学会识别。
  • 元学习就像训练一个“学霸”:不是教他具体的知识点,而是教他“学习方法”,让他能快速掌握任何新知识点。

10.6.2 典型方法

  1. 基于优化器的元学习:专门设计一个特殊的优化器(比如学习率自适应的优化器),这个优化器在多个任务上训练,学会“如何快速调整模型参数”——当遇到新任务时,用这个优化器能快速找到最优参数。
  2. 模型无关的元学习(MAML):这是最流行的元学习方法之一,核心是“找到一个通用的初始参数”——这个初始参数的特点是:在任何新任务上,只需要少数几步梯度下降,就能快速收敛到最优参数。

简单来说,MAML的训练过程是:

  • 给模型一个初始参数θ。
  • 让模型在多个不同的“小任务”上训练(每个小任务只有少量样本),记录每个小任务上经过几步微调后的参数θiθ_iθi​。
  • 调整初始参数θ,使得所有小任务上微调后的模型性能都最好——最终得到的θ就是“通用初始参数”。
  • 面对新任务时,用θ作为初始参数,只需少量样本微调,就能得到好模型。

10.7 总结和深入阅读

本章介绍的模型独立学习方式,本质上都是通过“优化数据利用”“挖掘任务关联”“提升学习策略”来突破传统单任务、单模型的局限:

  • 集成学习:通过多模型组合降低方差,提升稳定性。
  • 自训练/协同训练:利用无标注数据降低标注成本。
  • 多任务学习:通过任务关联提升特征学习的通用性。
  • 迁移学习:利用源任务知识快速适应目标任务。
  • 终身学习:持续学习不遗忘,适应动态场景。
  • 元学习:学习“学习能力”,适应少样本新任务。

这些方法在实际应用中非常灵活,常常可以结合使用(比如迁移学习+微调+集成学习),是解决复杂机器学习问题的重要工具。

如果想深入学习,可以参考以下资源:

  • 集成学习:《Ensemble Methods: Foundations and Algorithms》(集成学习的经典教材)。
  • 迁移学习:《Transfer Learning》(迁移学习领域的权威著作)。
  • 元学习:MAML的原始论文《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》。
  • 终身学习:综述论文《Continual Learning: A Comprehensive Survey》。
【AI概念】模型(Model)与算法(Algorithm)有什麽差别?他们在机器学习中各自担任什么样的角色? 你知道机器学习里的“算法”和“模型”到底有什么不同吗?不少AI初学者甚至颇有研究的同学,都会把这两个词混淆。其实,它们的区别比你想象的还要大!这篇文章,我会用最简单的比喻和例子,带你轻松分清算法和模型的本质差异,以及他们在一般流程中各自担任的角色。如果你也曾疑惑过这两个概念,千万别错过接下来的内容! 阅读详情

相关推荐

模型独立学习:多任务学习与迁移学习

导读:机器学习的学习方式包括监督学习和无监督学习等。针对一个给定的任务,首先要准备一定规模的训练数据,这些训练数据需要和真实数据的分布一致,然后设定一个目标函数和优化方法,在训练数据上学习一个模型。此外,不同任务的模型往往都是从零开始来训练的,一切知识都需要从训练数据中得到。这也导致了每个任务都需要准备大量的训练数据。在实际应用中,我们面对的任务往往难以满足上述要求,比如训练任务和目标任务的数据分布不一致,训练数据过少等。这时机器学习的应用会受到很大的局限。并且在很多场合中,我们也需要一个模型可以快速地适应

wenyusuran的专栏 1344

模型独立的学习方式

模型独立的学习方式10.1 集成学习10.2 自训练和协同训练10.3 多任务学习10.4 迁移学习10.5 终身学习10.6 元学习 10.1 集成学习   集成学习( Ensemble Learning )就是通过某种策略将多个模型集成起来,通过群体决策来提高决策准确率.   一个有效的集成需要各个基模型的差异尽可能大.为了增加模型之间的差异性,可以采取 Bagging 和 Boosting 这两类方法. Bagging 类方法:Bagging 类方法是通过随机构造训练样本、随机选择特征等方法来提高每个

weixin_42513086的博客 532

王爽《汇编语言》课程设计2(不涉及软盘版本)

assume cs:code,ds:data,ss:stack stack segment db 128 dup (0) stack ends data segment db 256 dup (0) data ends code segment start: mov ax,stack mov ss,ax mov sp,128 ...

weixin_41944412的博客 1179

模型的独立学习方式

本篇文章主要介绍一些“模型独立的学习方式”,比如:集成学习、协同学习、自学习、多任务学习、迁移学习、终身学习、小样本学习、元学习等。

Thinkgamer博客 2482

AB脉冲详解(编码器,PLC,上位机)

编码器线有些是用不到的。Z脉冲:360度中,只有1度是输出,输出能力是。编码器实际就是发光二极管,所以电流超过20ma会缩短寿命或损坏。

cfqq1989的博客 1万+

【PyTorch版本兼容性指南】如何在不同版本中正确使用torch.nn.attention

本文详细解析了PyTorch版本兼容性问题,特别是torch.nn.attention模块在不同版本中的使用差异。针对常见的ModuleNotFoundError错误,提供了三种实用解决方案:升级PyTorch版本、使用自定义实现和源码移植方案,并分享了最佳实践建议,帮助开发者有效避免兼容性问题。

weixin_29084231的博客 473

第3章 线性模型

本文对线性模型进行了一个简要介绍。

qq_40940944的博客 714

UG NX二次开发(C#)--详细讲述编程模板NXOpen_CS_Wizard的代码意义,帮你轻松进入NXOpen(C#)二次开发

有几个读者私信问我,在看了“NX1957在VS2019上二次开发的环境配置”后,能完成了UG NX二次开发(C#)模板的配置,也能根据模板创建工程,但是对工程文件.cs不甚理解;并且,在UG Styler新建完成后,其也有一个dlx文件和.cs文件,也不清楚怎么使用。本文先对UG NX二次开发(C#)模板文件进行讲解,在下一个博客中,讲解Styler新建后的模板文件。以上就是对编程模板NXOpen_CS_Wizard(c#)的讲解,其实只要明白了逻辑关系,编程实现只是时间问题,祝你好运。

GimiGimmy 1788

AI大模型如何变革学习方式与实用技巧

人工智能大模型作为当前技术热点,正在深刻改变知识获取与学习方式。其核心技术原理是基于海量数据训练的深度学习模型,通过自然语言处理实现智能交互。在教育领域,这类技术能实现个性化学习路径规划、复杂知识降维讲解等功能,大幅提升学习效率。以ChatGPT为代表的大模型应用已渗透到笔记整理、代码编写、数据分析等具体场景,配合提示词工程等技巧,可构建完整的AI辅助学习系统。值得注意的是,合理使用交叉验证等方法可以规避模型幻觉问题,而建立知识管理闭环则是发挥技术价值的关键。随着AI协作能力逐渐普及,掌握大模型工具正在成为

weixin_34072637的博客 487

【立创EDA-PCB设计基础】4.模块化布局

本文对本专栏绘制的原理图进行模块化布局,首先进行预布局(将每个模块放一起),然后进行精细化布局(按照原理图来精细化布局)。

嵌入式阿齐Archie 3万+

YOLO26改进策略【卷积层】| HWD,引入`Haar小波变换`到下采样模块中,减少信息丢失

本文记录的是。传统的卷积神经网络中常用的最大池化平均池化和步长为2的卷积等操作进行下采样可能会导致信息丢失,为了解决信息丢失问题,HWD作者受无损信息变换方法的启发,引入Haar小波变换到下采样模块中,

Limiiiing的博客 353

10款宝藏教育工具大揭秘:中国独立开发者打造的学习效率神器

在当今数字化教育时代,中国独立开发者们正在用创新技术重新定义学习方式!这些优秀的工具不仅功能强大,而且完全免费使用,让学习变得前所未有的高效和有趣。无论是学生、教师还是终身学习者,都能在这些工具中找到提升学习效率的秘密武器。🎓 ## 🤖 AI智能学习助手:让学习事半功倍 **LearnFlux** 是一款革命性的AI驱动智能学习助手,它能为你生成个性化学习材料,让你以更少时间掌握更多知识。

gitblog_01117的博客 782

Oracle EBS AP发票被预付款核算创建会计科目时间超长

在客户职能部门的水电、通信和物业等费用统一管理或对接部门报销时,用户将所有费用分摊到各个末级部门,导致AP发票行数高达上千行。这引发了以下问题:1)用户过账时,创建会计科目的请求执行超过20小时未完成,只能手动取消;2)取消请求后,系统一直处于回滚状态;3)通过SQL脚本分析,发现预付发票核销分配行表记录数量庞大,单笔AP发票记录高达90多万条,类似发票共有5笔。

陈显平的专栏-Oracle EBS 353

《神经网络与深度学习》算法伪代码汇总

《神经网络与深度学习》算法伪代码

weixin_46178977的博客 1万+

第4章-上下文管理-对话历史记忆系统与窗口优化-《Agentic AI 智能体应用开发》

当上下文窗口接近极限时,需要对已有内容进行压缩。压缩不是简单的截断——你需要保留核心语义,去除冗余。# Python: 对话摘要压缩# 使用 Haiku 做摘要任务,成本最低"""将一段对话历史压缩为摘要"""system="你是一个对话摘要专家。请生成简洁但有信息量的摘要。",f"'用户'

AI天才研究院 252

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

第2章 机器学习概述

本文对机器学习进行了了一个简要介绍。

qq_40940944的博客 1199

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

零基础学AI大模型要多久?真的能学会吗?

随着人工智能技术的迅猛发展,AI大模型成为了当前最热门的技术领域之一。很多人对AI大模型既充满好奇又感到陌生,特别是对于那些完全没有编程基础的人来说,从零开始学习AI大模型似乎是一项艰巨的任务。但实际上,只要有足够的决心和正确的方法,任何人都有可能成为AI大模型领域的专家。本文将探讨从零基础学习AI大模型需要多长时间,以及如何确保你能够真正学会。

AI大模型资料分享员 2388

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

第1章 绪论

深度学习(Deep Learning)是近年来发展十分迅速的研究领域,并且在人工智能的很多子领域都取得了巨大的成功.从根源来讲,深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法,本文主要介绍深度学习。贡献度分配问题:深度学习采用的模型一般比较复杂,指样本的原始输入到输出目标之间的数据流经过多个线性或非线性的组件(component)。

qq_40940944的博客 395

腾讯开源10亿参数3D动作模型,小米MiMo公测延续至2026年,MiniMax M2.1编程模型发布,京东上线自营机器人租赁业务

腾讯开源10亿参数文生3D动作模型,显著降低游戏开发门槛;小米宣布MiMo大模型公测延长至2026年,持续优化用户体验;月之暗面获5亿美元融资专注AGI研发;谷歌AI工具陷隐私争议;罗永浩发布AI讲书App"且听";MiniMax推出专业编程模型M2.1;夸克AI眼镜完成首次OTA升级;京东上线人形机器人租赁业务。这些进展展示了AI技术在游戏、智能设备、知识服务等领域的快速渗透与创新突破。

2501_94644293的博客 1840

为什么有了大模型还需要用embedding模型?

不知道大家有没有想过这个问题?我这两天对这个问题还深入思考了一下,思考的初衷是来源于现在这么多的开源大模型,而且挺多是多模态场景,而Embedding模型相对单模且英文语料居多,如果能复用大模型的output layer,是不是会加速手头上的实验进展。但思考后觉得效果应该是比不上原生的Embedding模型,有空再专门测试一下看看。

m0_59235245的博客 1541
上一篇: 【回归算法】线性回归详解
下一篇: 第11章 概率图模型
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值