一个Self Taught Learning的简单例子

最新推荐文章于 2024-12-05 00:14:56 发布
最新推荐文章于 2024-12-05 00:14:56 发布
阅读量136 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 开发工具
原文链接：http://www.cnblogs.com/Wanggcong/p/4943697.html
本文介绍了一种使用卷积和池化层提取特征，并通过softmax分类器进行0到4的手写数字分类的方法。整个流程包括训练RICA模型、提取特征、训练及测试softmax回归模型等步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

idea:

Concretely, for each example in the the labeled training dataset xl, we forward propagate the example through a convolutional and a pooling layer to obtain the activation of the hidden units a(2). We now represent this example using a(2) (the “replacement” representation), and use this to as the new feature representation with which to train the softmax classifier.

 

design:

In this exercise, our goal is to distinguish between the digits from 0 to 4. We will use an “unlabeled” dataset with all 10 digits to learn the filters; we will then use a labeled dataset with the digits 0 to 4 with which to train the softmax classifier.

 

procedure:

 

Step 1: Generate the input and test data sets

Step 2: Train RICA

Step 3: Extracting features

Step 4: Training and testing the softmax regression model

Step 5: Classifying on the test set

 

reference:

 

转载于:https://www.cnblogs.com/Wanggcong/p/4943697.html

自我学习（Self-Taught Learning）
程引的专栏
08-13 8191
自我学习就是把稀疏自编码器与Softmax回归分类器串联起来。 稀疏编码器是用来无监督学习的，使用无标签数据。 Softmax回归分类器是有监督学习，使用标签数据。   实际生活中，我们能轻松获得大量无标签数据（如从网上随机下载海量图片） 难以获得大量有标签数据（有标签的数据库通常不会太大，而且很贵）   如果我们手头上只有少量标签数据，但是有大量的无标签数据，这是就可以采用自我
特征学习 (Self_taught Learning)
whiteinblue的专栏
03-20 6113
简介           如果已经有一个足够强大的机器学习算法，为了获得更好的性能，最靠谱的方法之一是给这个算法以更多的数据。机器学习界甚至有个说法：“有时候胜出者并非有最好的算法，而是有更多的数据。”      在自学习和无监督特征学习问题上，可以给算法以大量的未标注数据，学习出较好的特征描述。在尝试解决一个具体的分类问题时，可以基于这些学习出的特征描述和任意的（可能比较少的）已标注数据，使
Deep learning：十五(Self-Taught Learning练习)
weixin_34127717的博客
03-24 207
  　　前言： 　　本次实验主要是练习soft- taught learning的实现。参考的资料为网页：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_Learning。Soft-taught leaning是用的无监督学习来学习到特征提取的参数，然后用有监督学习来训练分类器。这里分别是用的sparse...
深度学习基础（六）Self-Taught Learning 分类： 深度学习...
dengxundong1074的博客
03-20 496
要想提高学习类的算法，最简单的方法就是使用更多的数据，但是有标签的数据往往是很难获取的，因此对于无标签的数据的学习，我们有自学习算法和无监督特学习算法。 有两类常用的特征学习算法，自学习算法的前提假设是无标签的数据和有标签的数据不一定满足一样的分布，而无监督学习算法的前提假设是两者的分布是一样的。 我们先来介绍一下特征学习： 我们之前讲过自编码器，输入时有标签的数据...
Self-Taught Learning
freeliao的专栏 在路上奔跑。。。
02-19 3721
自编码器是一个三层的feed-forward神经网络模型，输入层经过隐含层的特征表示后再重构出跟输入层逼近的输出层，中间的隐含层是特征表示层，表示对输入层学习到的特征，这些特征可能更好地表示了数据，如果用学到的特征来训练数据分类或回归可能学习效果更好，于是就有了自我学习和无监督特征学习。     如果我们有很多的未标注数据，那就更好了，我们可以用自编码器学习特征表示，然后用学到的特征表示
深度学习-自学习（self taught learning）
热门推荐
BUB1997的博客
06-25 2万+
自学习与半监督学习：两者都是有少量的标注数据和大量的未标注数据的情况。两者的不同在于半监督学习要求标注数据和未标注数据有同样的分布，而自学习没有这种要求，因此具有更广泛的应用。 自学习包括两个部分，第一个是用无标签的样本集训练稀疏自编码器，第二个是用有标签的训练样本集训练softmax分类器。 具体过程如下： 第一步，设置神经网络的结构； 第二步，利用无标签数据集训练稀疏自编码器； 第三...
Self-taught Learning Transfer Learning from Unlabeled Data
10-19
本论文提出了一种名为“自学式学习(self-taught learning)”的新机器学习框架，该框架允许在监督分类任务中有效利用无标签数据。在传统的方法中，通常假设无标签数据与有标签数据遵循相同的类别标签或生成分布。然而...
UFLDL——Exercise:Self-Taught Learning 自我学习
Daniel_djf的专栏
12-13 2153
实验要求可以参考deeplearning的tutorial， Exercise:Self-Taught Learning  。本实验和上一个实验 一样都是对手写数字0-9的识别，区别在于上一个实验直接把原始图像的像素值作为特征输入到softmax回归进行分类，而本实验通过自学习从原始像素值从学习到维度更低的特征（稀疏自动编码），再交给softmax回归，相当于比之前的实验多了自学习特征的步骤
[NeurlPS 2022] STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning
最新发布
skysys的研究小屋
12-05 851
生成逐步的“思维链”理由(rationales)能够提高语言模型在复杂推理任务上的表现，比如数学或常识问答。然而，目前诱导语言模型生成理由要么需要构建庞大的理由数据集，要么只能通过少量样本推理牺牲准确性。我们提出了一种技术，通过迭代利用少量理由示例和一个没有理由的大型数据集，来引导模型逐渐掌握更复杂的推理能力。生成理由以回答许多问题，提示一些理由示例；如果生成的答案是错误的，尝试在给定正确答案的情况下再次生成理由；对所有最终得出正确答案的理由进行微调；重复这个过程。
Deep learning----------Self-taught learning
精锐小庄的专栏
12-05 2002
Self-taught leaning是用的无监督学习来学习到特征提取的参数，然后用有监督学习来训练分类器。这里无监督学习和有监督学习分别是用的sparse autoencoder和softmax regression. 如果已经有一个足够强大的机器学习算法，为了获得更好的性能，最靠谱的方法之一是给这个算法以更多的数据。机器学习界甚至有个说法：“有时候胜出者并非有最好的算法，而是有更多的
Self-taught Learning: Transfer Learning from Unlabeled Data
06-12
Self-taught Learning: Transfer Learning from Unlabeled Data
UFLDL：Self-Taught Learning
11-07
实验要求可以参考deeplearning的tutorial， Exercise:Self-Taught Learning  。本实验和上一个实验一样都是对手写数字0-9的识别，区别在于上一个实验直接把原始图像的像素值作为特征输入到softmax回归进行分类，而本实验通过自学习从原始像素值从学习到维度更低的特征（稀疏自动编码），再交给softmax回归，相当于比之前的实验多了自学习特征的步骤，最后实验显示，加上自学习特征之后模型的正确率更高。 --------------------- 作者：Danieljf24 来源：优快云 原文：https://blog.youkuaiyun.com/danieljianfeng/article/details/41913521 版权声明：本文为博主原创文章，转载请附上博文链接！
UFLDL教程练习题答案——self-taught learning
03-12
UFLDL教程练习题答案——self-taught learning，里面的代码都是最优的，可以替换之前资源里面的代码
UFLDL教程答案(5):Exercise:Self-Taught Learning
JiangV的博客
12-19 2315
matlab 实现无监督训练自编码，再加上softmax对mnist手写数字分类。
UFLDL学习笔记4（Self-Taught Learning and Unsupervised Feature Learning）
richard2357的专栏
01-13 2974
最近在学习UFLDL Tutorial，这是一套关于无监督学习的教程。在此感觉Andrew Ng做的真的是非常认真。下面把我的代码贴出来，方便大家学习调试。所有代码已经过matlab调试通过。 Self-Taught Learning and Unsupervised Feature Learning练习 这一章实际上是把Sparse Autoencoder和Softmax R
【Deep Learning】4、Self-Taught Learning
极度视界
08-09 1883
Self-Taught Learning
UFLDL新版教程与编程练习（十一）：Self Taught Learning（自我学习）
laizi_laizi的博客
08-13 551
UFLDL是吴恩达团队编写的较早的一门深度学习入门，里面理论加上练习的节奏非常好，每次都想快点看完理论去动手编写练习，因为他帮你打好了整个代码框架，也有详细的注释，所以我们只要实现一点核心的代码编写工作就行了，上手快！ 我这里找不到新版对应这块的中文翻译了，-_-，这是最后一个练习了，之后就可以学cs231n了，得加快啊！ 第十一节是：Self Taught Learning（自我学习） feed...
泛读论文：Self-taught Learning: Transfer Learning from Unlabeled Data
汪汪汪的博客
03-19 2856
Self-taught Learning: Transfer Learning from Unlabeled Data ICML2007 问题 Semi-supervised learning typically makes the additional assumption that the unlabeled data can be labeled with the same labe...
深度学习笔记4：Self-Taught Learning and Unsupervised Feature Learning
yuanchheneducn的博客
06-14 838
这个主题我很喜欢，嘿嘿~ 1. 无监督特征学习 用稀疏自编码器从大量无标注数据中学习好的特征描述。 2. 数据预处理 无监督特征学习前，要对数据进行预处理。 如均值标准化，PCA，PCA白化，ZCA白化。但是需要记录下训练时的参数，即均值和U，在后面训练时要使用相同的参数。 3. 无监督特征学习的术语 自学习：不要求无标注数据和已标注的数据来自相同的分布。
掌握UFLDL教程：self-taught learning练习题答案详解
而"self-taught learning"（自教学习）是一种机器学习范式，它允许模型通过自学未标记的数据来改善性能，尤其是在标记数据稀缺或难以获取时。本知识点将以提供的文件信息为基础，展开对UFLDL教程中self-taught ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值