JH0lmes的博客

在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便寻找到最优的参数。在求解机器学习参数的优化算法中，使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。梯度下降法有很多优点，其中，在梯度下降法的求解过程中，只需求解损失函数的一阶导数，计算的代价比较小，这使得梯度下降法能在很多大规模数据集上得到应用。梯度下...

正则化防止过拟合，提高模型的泛化能力，但并不改变问题的本质。常用的技术包括：正则化，如L1、L2范数（L2也叫作weight decay）等 数据集扩增（Data augmentation），扩充训练集合，例如添加噪声、数据变换等 Dropout early stopping在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现...

归一化 / 规范化 / 标准化，是一种简化计算的方式，将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。能够提升模型的收敛速度，提升模型的精度。主要看模型是否具有伸缩不变性。有些模型在各个维度进行不均匀...

Convolution，作用是提取特征和降维。之前学的卷积核（滤波器/特征探测器）已知，如边缘检测算子。卷积神经网络卷积核未知，训练神经网络就是要训练出这些卷积核。图像表示为像素的向量，这样大多数时候非常多，基本没法训练，所以必先减少参数加快速度。卷积核用于提取特征，个数越多提取特征越多，要训练的参数的个数越多。少了的话提取的特征不足。具体多少个合适，还有待学习。边界处理：SAME和VALID...

numpy Python的一个扩充程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 numpy方法 解释 np.dtype 指定当前numpy对象的整体数据, 见下一个表格 np.itemsize 对象中每个元素的大小, 单位字节 np.size 对象元素的个数, 相当于np.shape中的n*m值 np.shape ...

在机器学习或者深度学习领域，参数和超参数是一个常见的问题。参数（Parameter）：模型根据数据可以自动学习出的变量。比如，权重，偏差等；超参数（Hyperparameter）：在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。它具有参数的特性，比如未知，也就是它不是一个已知常量。一种可手工配置的设置，需要为它根据已有或现有的经验指定“正确”的值，也就是人为为它设定一个值，它...

GPU简介要说GPU，首先要来说说CPU。CPU的全称是Central Processing Unit，GPU的全称是Graphics Processing Unit。在命名上，这两种器件相同点是它们都是Processing Unit——处理单元；不同点是CPU是“核心的”，而GPU是用于“图像”处理的。顾名思义，这些名称的确非常符合大众印象中它们的用途——一个是电脑的“大脑核心”，一个是图像...

在最近的《科学美国人》杂志上，刊载了一篇题为“深度学习崛起带来人工智能的春天”文章。文中解释了为什么复杂的神经网络是人们长时间设想的人工智能的关键。想让电脑和人一样聪明，就必须得让程序的思维方式和人的大脑一样，这似乎是有逻辑可循的。然而，鉴于我们对大脑机能的所知甚少，这一任务看起来着实令人望而生畏。那么，深度学习究竟是如何工作的呢？神经网络是个神器，她的表现让人有些琢磨不透。权重和偏置量能自动...

激活函数（Activation function）是获取输入信号并将其转换为输出信号。激活函数为网络引入非线性，这就是我们称之为非线性的原因。神经网络是通用函数逼近器，深层神经网络使用反向传播法进行训练，反向传播需要使用可微分的激活函数。Backpropapagation使用此激活函数的下降梯度来更新网络权重。非线性 / 激活函数。因为线性模型的表达力不够，加入非线性因素，把“激活的神经元的特...

深度学习工程师50%的时间在调参数，49%的时间在对抗过/欠拟合，剩下1%的时间在修改down下来的程序。Top-5错误率ImageNet图像通常有1000个可能的类别，对每幅图像可猜5次结果(即同时预测5个类别标签)，当其中有任何一次预测对了，结果都算对，当5次全都错了的时候，才算预测错误。Overfitting过拟合，此问题是深度学习领域一个重大问题。为了得到一致假设而使假...

 Tensorflow 模型持久化 如果神经网络比较复杂，训练数据比较多，那么训练就会耗时很长，若在训练过程中出现某些不可预计的错误，导致训练意外终止，那么将会前功尽弃。为避免这个问题，可以通过模型持久化（保存为CKPT格式）来暂存训练过程中的临时数据。一、生成4个文件，一个checkpoint和三个CKPT格式的文件： 1.checkpoint  记录保存信息和所有模型文件列表，...

分类器的作用：常规任务是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），比如识别手写数字，它需要10个分类，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有softma...