- 博客(22)
- 收藏
- 关注
RSS订阅原创 吴恩达 deep-learning 优化算法
文章目录Mini-batch 梯度下降法指数加权平均动量梯度下降法RMSpropAdam 优化算法学习率衰减局部最优的问题Mini-batch 梯度下降法当对整个训练集执行梯度下降法时，要处理整个数据集，然后才能进行一步梯度下降法，这样速度回非常慢但如果每次数据的一部分进行梯度下降，那么算法的处理速度会快很多mini-batch梯度下降，在每次迭代是并不是下降的当mini-batc...
2019-01-07 10:36:12
484
原创 吴恩达 deep learning 深度学习的使用层面
文章目录训练/验证/测试集偏差/方差正则化Dropout正则化其他正则化方法归一化梯度消失和梯度爆炸神经网络的权重初始化梯度的数值逼近梯度检验训练/验证/测试集训练集：执行训练算法验证集：进行交叉验证，选取最终模型测试集：无偏评估算法的运行状况小数据集：无验证集 7:3 有验证集6：2:2大数据集：百万级别 98:1:1 超百万 99.5%：0.25%：0.25% 或 99.5%:0...
2018-12-27 11:08:27
286
原创 吴恩达 deep learning 深层神经网络
文章目录深层神经网络深层网络中的前向传播核对矩阵的维数为什么使用深层表示搭建深层神经网络块前向和反向传播参数 超参数深层神经网络L表示层数n[l]n^{[l]}n[l]表示第l成的单元数量a[l]a^{[l]}a[l]表示第l层的激活函数w[l]w^{[l]}w[l]表示在a[l]a^{[l]}a[l]中计算z[l]z^{[l]}z[l]的权重深层网络中的前向传播核对矩阵的维数...
2018-12-20 11:01:22
232
原创 吴恩达 deep learning 浅层神经网络
文章目录神经网络概览神经网络的表示计算神经网络的输出多个例子中的向量化激活函数为什么需要非线性激活函数激活函数的导数神经网络的梯度下降随机初始化神经网络概览[]表示不同的层x(i)x^{(i)}x(i)表示第i个数据神经网络的表示简单的神经网络a[i]a^{[i]}a[i]表示第i层的激活值w[i]，b[i]w^{[i]} ，b^{[i]}w[i]，b[i]表示第i层的参数w[1...
2018-12-19 10:12:17
226
原创 吴恩达 deep learning 神经网络基础
部分内容参考https://blog.youkuaiyun.com/Koala_Tree/article/details/78045596二分类输入x 是每个像素的RGB值，维数是64643想要的输出是 y 0,1m 样本的数量n 表示特征的数量logistic 回归逻辑回归的预测值在[0,1]之间，表示为1的概率所以需要引入Sigmod函数y^=Sigmoid(wTx+b)=σ(wTx...
2018-12-17 21:43:15
247
原创 Python数据科学手册-第5章机器学习
文章目录机器学习的分类Scikit-LearnScikit-Learn的数据表示Scikit-Learn的评估器API应用：手写数字探索超参数与模型验证模型验证选择最优模型学习曲线验证实践：网格搜索特征工程分类特征文本特征图像特征衍生特征缺失值填充特征管道专题:朴素贝叶斯分类贝叶斯分类高斯朴素贝叶斯多项式朴素贝叶斯朴素贝叶斯的应用场景专题：线性回归简单线性回归基函数回归正则化案例：预测自行车流量专...
2018-11-27 17:26:24
2642
1
原创 卡尔曼滤波
根据视频https://www.youtube.com/watch?v=2-lu3GNbXM8整理的笔记汽车在行驶的时候状态的转移ptp_tpt表示的是t时刻的位置vtv_tvt表示的是t时刻的速度utu_tut表示的是t时刻的加速度x^t−\hat{x}_t^-x^t−表示的是预测的t时刻的状态一维情况下的高斯分布二维包含噪声的数据在x，y上的投影都是高斯分布，即使两个...
2018-10-29 21:16:17
373
原创 吴恩达-机器学习(11)-文字识别
Application example: Photo OCRProblem description and pipelinePhoto OCR表示照片光学字符识别，主要解决的问题就是让计算器识别照片中的文字主要步骤Sliding windows由于行人的形状大小相似，以行人检测为例子来说明滑动窗在图片中选取一小块，使用训练好的分类器进行检测，下面是以8236为例，然后滑动窗口继续进...
2018-10-08 10:35:07
782
原创 吴恩达-机器学习(10)-大数据集机器学习
Large Scale machine learningLearning with large datasets当数据量非常的大的时候，我们应该从中选取少量的数据，使用我们的算法进行计算，绘制学习曲线，如果学习曲线是左边的时候说明算法高方差，这时候提高数据量，就可以提高性能，如果是右边的图形，说明算法高偏差，增加数据量并不会有什么改变Stochastic Gradient Descent...
2018-09-28 21:35:50
640
原创 吴恩达-机器学习(9)-异常检测、协同过滤
Density EstimationProblem Motivation异常检测：给定m个假定正常的数据集，对x的分布概率建模，建立概率模型之后，对于新的数据概率低于阈值就是异常的异常检测的应用:欺诈检测产品的质量控制数据中心的计算机监测Gaussian Distribution样本出现的概率符合下列公式就是高斯分布，其中σ\sigmaσ是标准差，μ\muμ是均值p(x)...
2018-09-27 16:57:52
516
原创 吴恩达-机器学习（8）-K-Mean、PCA
###Clustering####K-Mean Algorithm下图中已经有没有标签的点，现在需要分为两类进行k-Mean算法1、随机选取两个聚类中心，需要分为几类就选取几个聚类中心2、遍历所有的点，根据点到聚类中心的距离来判断将该点分到哪个聚类中3、然后将红色的聚类中心移动到所有红色点的均值位置，蓝色的聚类中心移动到所有蓝色点的均值位置重复2、3过程直到收敛K-Mean中...
2018-09-25 20:05:36
317
原创 吴恩达-机器学习(7)-SVM
Large Margin ClassificationOptimization objective在逻辑回归中，z对应的h(θ)h(θ)h(\theta)的值 在支持向量机中，把log函数换为图中蓝色线所代表的cost函数 支持向量机中的代价函数 Large Margin Intuition 假设C=100000，我们就希望蓝色款中的式子等于0 当y=1时为了...
2018-09-13 17:13:34
322
原创 吴恩达-机器学习(6)-评估学习算法、偏差与方差、构架垃圾邮件分类器、处理倾斜数据
Evaluating a Learing AlgorithmDecidding what to try next当预测新的数据集，效果很差时： 1. 获取更多的训练数据 2. 减小特征数量 3. 尝试获取附加特征 4. 尝试添加多项式特征 5. 尝试减小λλ\lambda 6. 尝试增加λλ\lambda机器学习诊疗法：可以帮助你知道机器学习算法是否在工作,而且可以知道...
2018-09-11 10:55:57
692
原创 吴恩达-机器学习(5)-反向传播
Cost Function and BackpropagationCost FunctionL：代表神经网络的层数 SlSlS_l：第l层的神经元个数 K：输出神经元的个数 神经网络的代价函数 Backpropagation Algorithm使用梯度下降，最重要的就是要计算偏导 δ(l)jδj(l)\delta^{(l)}_j表示第l层第j个节点的误差 ...
2018-09-03 15:33:09
480
原创 吴恩达-机器学习(4)-神经网络
Neural NetWorkingNon-linear Hypotheses 当特征数量大时，在进行逻辑回归和线性回归时要包含所有的相关项，二项式的个数以n^2的量级增长，最终的结果可能过拟合，同时计算量也过大。Model Representationx0x0x_0为偏置单位，总是等于1，x是输入，hθ(x)hθ(x)h_\theta(x)是输出，θθ\theta是权重即...
2018-08-29 10:13:00
250
原创 吴恩达-机器学习(3)-分类、逻辑回归、多分类、过拟合
Classification and RepresentationClassification为了尝试分类，一种方法是使用线性回归，并将所有大于0.5的预测映射为1，而所有的预测都小于0.5映射为0。然而，这种方法并不适用，因为分类实际上并不是一个线性函数。 下面是个肿瘤的例子，y=1就是恶性，y=0就是良性，当使用一条直线去拟合时，可以尝试将输出阈值设为0.5，大于0.5就预测y=...
2018-08-27 11:09:35
921
原创 吴恩达-机器学习(2)-多元线性回归、正规方程
Multivariate Linear Regression n:特征的个数 x(i)x(i)x^{(i)}：第i个训练样本的输入特征值 x(i)jxj(i)x^{(i)}_j:第i个训练样本的第j个特征值 当有多个特征的时候，假设函数就是如下公式，其中x0x0x_0=1 当有多个特征时，代价函数如下： J(θ0,θ1...θn)=12m∑i=1m(hθ(x(i))−y(i))...
2018-08-17 10:53:38
468
原创 吴恩达-机器学习笔记(1)-模型表示、损失函数、梯度下降
无监督学习：一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E，经过P的评判，程序在处理T时性能有所提升。 A computer program is said to learn from experience E with respect to some task T and some performance measure P , if its perfor...
2018-08-10 11:00:57
2244
1
原创 Mtaplotlib数据可视化
Mtaplotlib常用技巧简易线性图简易散点图可视化异常处理密度图和等高线图频次直方图、数据区间划分和分布密度配置图例多子图文字和注释自定义坐标轴刻度画三维图BasemapSeabornMtaplotlib常用技巧1、导入matplotlibimport matplotlib as mplimport matplotlib.p...
2018-08-07 15:08:37
2100
转载 AutoWare源码解析——twist_filter节点
AutoWare源码解析——twist_filter节点 使用到的消息格式： geometry_msgs::TwistStamped 消息格式 pure_suited节点发布的车辆运动信息std_msgs/Header header uint32 seq time stamp string frame_idgeometry_msgs/Twist twist geometr...
2018-07-25 16:51:29
2816
1
原创 NumPy入门
本文章为《Python数据科学手册》学习笔记目录本文章为《Python数据科学手册》学习笔记NumPy标准数据类型创建数组NumPy数组1、数组的属性2、数组索引3、数组切片4、 数组的变形 5、数组拼接和分裂通用函数聚合广播比较、掩码和布尔逻辑 花哨的索引数组的排序NumPy的结构化数组NumPy标准数据类型numpy标...
2018-07-21 11:16:54
746
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人