dianlun2372-优快云博客

反向传播算法上一节的我们已经知道了前向传播是如何计算的了。即给定x如何通过各个节点计算出y。那么还有一个问题就是我们如何确定各个神经元的权重，或者如何说训练一个神经网络。在传统机器学习算法中我们会使用梯度下降算法来做权重更新：\[\theta_j:=\theta_j-\alpha\frac\delta{\delta\theta_j}J(θ)\]即使用输出值构造一个损失函数，...

2018-08-29 20:08:00 193

转载神经网络的基本组成

引入回忆一下高中生物中学到的知识：当一个神经元受到足够强的刺激的时候，就会被激活向下一个神经元释放递质，然后激活下一个神经元，以此类推，最终将信号传导到需要的地方。那么我们的神经网络也是由此而来建模而来，我们需要着重需要定义的一些量就是：怎么样才算足够强的刺激如何表示被激活如何向下一个神经元传递信息神经元一般神经网络都会非常大，所以神经元定义要尽量的简单。一般用一个线性...

2018-08-09 16:43:00 2046

转载 cs231n课程索引

课程资源课程官网课程视频-youtube课程视频-字幕版官方笔记官方笔记-中文版课程作业参考答案转载于:https://www.cnblogs.com/nevermoes/p/cs231n_index.html...

2018-06-15 19:09:00 66

转载快速入门特征工程

有一句话在业界广为流传：特征工程决定了模型的上界，调参决定模型能够有多逼近这个上界。这里以sklearn为例讲讲特征工程。一图概览特征工程虽然说分了这么多部分，但特征工程最重要的部分还是特征处理，特征处理主要包含三个方面，特征预处理，特征选择和降维度。数据预处理数据预处理一方面把特征转为合适的编码喂给我们学习算法，另一方面就是把数据都转化到一个同一个规格。我们平时会用公制单位...

2018-06-05 12:07:00 96

转载快速入门Sklearn

主要确定sklearn的基本流程，然后把sklearn当做螺丝刀来用就行了，需要什么查什么。基本流程首先我们回顾一下机器学习的基本流程：特征工程，包括了数据清洗，数据标准版化，特征选取，特征降维选取模型，这里还包括了，超参数确定模型验证，利用各种不同指标对模型性能进行检验这里有一个利用KNN进行分类的例子。from sklearn import neighbors, d...

2018-05-31 22:28:00 102

转载快速入门Matplotlib

十分钟快速入门Matplotlib函数式绘图这个库主要有两种绘图方式，一种是像这样的类matlab的函数式绘图方法。import matplotlib.pyplot as pltimport numpy as np# 创建数据x = np.linspace(0, 5, 10)y = x ** 2# 开始绘图plt.figure() # 创建画布plt.plot(x...

2018-05-26 17:05:00 133

转载快速入门Pandas

教你十分钟学会使用pandas。pandas是python数据分析的一个最重要的工具。基本使用# 一般以pd作为pandas的缩写import pandas as pd# 读取文件df = pd.read_csv('file.csv')# 返回数据的大小df.shape# 显示数据的一些对象信息和内存使用df.info()# 显示数据的统计量信息df.de...

2018-05-17 13:42:00 60

转载快速入门Numpy

教你十分钟学会使用numpy。简单介绍一下numpy的话，这就是一个基于多维数组的python科学计算的核心库。基本信息# 一般用np作为numpy的缩写import numpy as np# 这里创建了一个数组之后详细说明arr = np.array([[[1], [2]], [[3], [4]]], dtype=np.int32)# 数组的维度arr.ndim...

2018-05-16 19:39:00 92

转载 cs229课程索引

重要说明这个系列是以cs229为参考，梳理下来的有关机器学习传统算法的一些东西。所以说cs229的有些内容我会暂时先去掉放在别的部分里面，也会加上很多重要的，但是cs229没有讲到的东西。而且本系列大部分时间在自讲自话，如果看不懂的话，还是以原版课程为重。课程资源课程主页网易公开课翻译的课程视频cs229课件翻译cs229练习题解答重要参考资料《统计机器学习》- 李...

2018-05-14 20:04:00 68

转载 cs229_part7

PCA问题背景回顾一下我们特征选择中的问题。如果特征非常多，而且有一些特征是重复的，那么我们可以想办法剔除掉一些无用的特征。那里我们提到一个计算互信息的方法。那么这里换一种降维方法。比如说这样的一种比较极端的情况，我们数据是二维的，但是很明显能看的出来有一个维度对于分类是没有任何作用的，那我们可以把这个数据投影到x轴上面，变成这样：这样我们就把二维的数据降到了一维。当然这只...

2018-05-10 16:14:00 95

转载 cs229_part6

part 6接下来就是无监督学习算法了。k均值聚类问题背景样本集描述：\[x\in D, x\in R^n\]之前的有监督学习问题中，所有的x都有对应的y。但是如果我们的x没有对应的y。但是我们还是希望对x进行分类那应该如何做呢。迭代过程最简单的想法就是圈地。对每个类别圈一定的样本。即类似于构造一个星团的过程，我们希望星团有一个中心，属于这个星团的星星离这个星团越近越...

2018-05-09 23:55:00 123

转载 cs229_part5

这部分主要补充一些cs229没涉及到，但是实际上非常重要，而且是实际中真正会用的一些算法，即集成学习。集成学习问题背景既然我们已经知道了很多学习算法，这些算法最终会输出一个结果。能不能把这些结果进行结合。构造一个性能更好的学习器呢。首先要明确集成学习和单个基学习器的学习有什么区别。我们定义分歧为各个基学习器与集成学习器的差距的加权均值：\[A(h|x)= \sum _ { ...

2018-04-30 21:50:00 93

转载 cs229_part4

又到了一节很重要的课，因为这个学习理论是从统计角度为机器学习算法提供了一个理论基础。学习理论问题背景先回顾一下我们第一节课提到的机器学习的组成：第一节课只是简单的提了一下，现在我们要真正来分析这张图了。首先机器学习的最终目的就是得到真正的映射f，但是f我们无法得到，所以拿一个g去拟合。这是什么意思呢。就比如说你高考，会刷很多的习题，有很多次的模拟考。但是最终最终的目的都是为高考...

2018-04-26 23:09:00 135

转载 cs229_part3

接下来就是最最最重要的一个有监督学习算法了。支持向量机问题背景样本集表示：\[(x,y)\in D, x\in R^n, y\in \{-1,+1\}\]回到之前的逻辑回归模型中：逻辑回归中如果\(h ( x ) =g(\theta^Tx)\geq 0.5\)我们就认为是正例(y=1)。也就是\(\theta^Tx\geq 0\)，且\(\theta^Tx\)趋向于无穷大的时...

2018-04-23 19:30:00 100

转载 cs229_part2

part2这节课主要讲的是生成式模型，那么与这个生成式模型相对于的就是我们上节课所讲那几个辨别式模型。所以生成式模型和辨别式模型的区别是什么呢。我先给出数学上的定义：这是我们上节课线性回归所用的给定x下y的条件分布，即辨别式模型：\[p(y|x;\theta )\]那么生成式模型其实就是把条件反一下：\[p(x|y;\theta )\]那这到底是啥意思呢，比如说我们要判断一只...

2018-04-21 21:08:00 122

转载 cs229_part1

开篇题这个系列的文章主要参考cs229课程的内容，按照自己的思路和其他课程与书籍方式梳理下来，可能顺序和内容都与cs229有点不一样，但是参考内容我都会附在最后。而且这个系列主要讲个人的理解不想太多堆公式，公式的话随便看看就好。所以我会说很多啰嗦话来解释我们为什么找到这么个东西来描述这么个事情而不是罗列公式，所以会省略很多公式上的细节。有需要的话可以翻一翻后面列的参考资料。最后，配...

2018-04-18 20:44:00 76

dianlun2372的博客

转载 Python中的并发

转载计算机中的时间处理

转载数据结构总结

转载计算机考研之数据结构-排序

转载计算机考研之数据结构-查找

转载计算机考研之数据结构-图

转载计算机考研之数据结构-树

转载计算机考研之数据结构-线性表

转载计算机考研之数据结构-栈与队列

转载计算机考研之数据结构-绪论

转载卷积神经网络

转载反向传播算法