aian8769-优快云博客

转载李宏毅unsupervised learning: Deep Auto-encoder课堂笔记

PCA做法deep auto-encoder做法---deep auto-encoder还原的图会更接近原图，但这并不是重点，要不然直接输出原图就好了，降维干嘛重点是降维后能分开例子：-----转载于:https://www.cnblogs.com/lunotebook/p/11512741...

2019-09-12 16:49:00 174

转载李宏毅unsupervised learning-Word Embedding 课堂笔记

有多少个词汇就有多少维向量，只有表示它那维是1其他都是0。这样不知道词汇之间的关系，所以可以采用class。但是这样太粗糙了，引入word embedding。word embedding简介：根据词汇的上下文找出它的vectorcount based：两个词经常一起出现，给他们一个相似的向量 prediction based：这种推...

2019-09-12 10:59:00 146

转载李宏毅unsupervised learning-Neighbor Embedding 课堂笔记

凭借的是降维前的空间中，每一个点和它的邻居之间的关系进行降维。也叫流形学习Manifold Learning。那个点离黄色点更远还是离红色点更远呢，表面上好像黄色点更远，但是按照形状其实红色更远，就像要降维之后再观察方法一：局部线性嵌入（LLE）LLE目的也是降维，第一步找出wijK不能太大也不能太小。方法二：Laplacian Eige...

2019-09-12 10:59:00 179

转载李宏毅unsupervised learning-Linear Methods（lecturte13）课堂笔记

贴标签，不知道要分成多少类？就要根据经验决定。----->简单介绍K近邻两两计算相似度（相似度高的两个），切一刀看哪些在一组cluster时就是以偏概全，每个object都一定属于某个cluster，但这样太过粗糙，所以要用一个vector表示一个object。dimension reduction被引入，简介：假设三维空...

2019-09-11 11:06:00 164

转载李宏毅RNN+LSTM（lecturte21）课堂笔记

把词汇变成一个向量，方法：用other表示不在词汇组里的向量以及用26个字母表示希望如此：但是不理解出发还是到达我们希望neural network有记忆力，可以根据上下文产生不同output，所以产生了RNN：举例说明：给memory一个初始值[1,1]蓝色格子，带入计算蓝色格子被更新为之前绿色格子的[2,2]，再次计算并更新R...

2019-09-04 17:38:00 186

转载李宏毅CNN（lecturte10）课堂笔记

CNN一般用于影像的辨识上。CNN优点：可以只看图片部分关键特征；出现在图片不同位置的特征不需要重新定义参数；可将图片维持特征下进行放缩。简单说明CNN：讲解：filter参数是学出来的假设filter已经训练好，作内积和得新矩阵。filter1的作用：3出现代表右斜线连续三个1如果是彩色图片，就要加上RGB数值就有...

2019-09-02 10:41:00 159

转载李宏毅training DNN（lecturte9-1 ）课堂笔记

deep learning效果不好，从哪些方面做改进呢？得到一个神经网络，检查在training data上的表现，好的话检查在testing data上表现。testing data上表现不好，不一定是过拟合，要结合training data上表现。改进方法：dropout可以在测试集上取得较好结果layer越深很可能发生梯度消失问题引入采用相当于M...

2019-08-30 10:15:00 107

转载李宏毅back propagation（lecturte7 ）课堂笔记

正向具体过程：举例：反向具体过程：假设问号项已知，有所以说反向传播就可以理解为此时是假设是最后输出层：假如不是最后输出层，是中间某一层：继续算下去一直到输出层为止从前往后需要太多，所以可以选择直接从后往前算，例子为从5，6先开始，到3，4再往前总结：转载于:https://www.cnblogs.com/lunote...

2019-08-27 16:43:00 113

转载李宏毅deep learning（lecturte6）课堂笔记

连接是手动设置的，weight和bias是调出来的，一个神经网络将参数设置好就是一个functiondeep指的就是许多隐藏层可以表示成矩阵方便运算------------手写数字举例：输入256维向量，输出10维，每个代表输出为数字0，1……9的几率计算损失就是计算y和y^的交叉熵损失找一个θ*使total loss最小怎...

2019-08-27 15:46:00 97

转载李宏毅classification+Logistic Regression（lecturte4+5）课堂笔记

穷举最好函数最基本方法结合贝叶斯公式、全概率公式，算概率简单例子：红圈里根据数据算出。极大似然估计：某个μ和∑的Gaussian就是每个样本点的几率穷举所有μ和∑，能使likelihood 式子最大的μ和∑我们就认为它们是最有可能产生那79个点的μ*和∑*。易知μ*和∑*的最佳解。每个类总用不同的μ和∑，可能会效果不好或者过拟合，选择...

2019-08-27 11:12:00 115

转载李宏毅Gradient Descent（lecturte3）课堂笔记

其中，learning rate：η　　　　：梯度，它实际是个vector。Gradient可以考虑成Loss等高线的法线方向learning rate要小心调节红线的learning rate就是刚刚好，蓝线太慢了，绿线黄线太快了。可以通过画右边图来观察。越学习越慢，不同的参数最好提供不同的learning rate。怎么选择learning rate呢？可以采用...

2019-08-22 15:03:00 124

aian8769的博客