tuying_001的专栏

一、欠拟合与过拟合1、欠拟合的解决方法：增加输入特征项增加网络参数减少正则化参数2、过拟合的解决方法;数据清洗增大训练集采用正则化增大正则化参数二、正则化正则化缓解过拟合正则化在损失函数中引入模型复杂度指标，利用给w加权值，弱化了训练数据的噪声（一般不正则化b）损失函数的形式：loss = loss(y 与 y_) + REGULARIZER * loss（w）loss(y 与 y_) 是模型中所有参数的损失函数，如：交叉熵，均方误差...

简单的二分类情形：1、前向传播有m个样本，每个样本有n个特征，, 每个特征的权重是， 权重向量为，偏置为b，激活函数为sigmoid函数，则激活后的值为, 大写表示向量，小写表示标量2、反向传播y为真实值，损失函数为代价函数为, 代价函数为a, y的函数，实际上可以看作是w,b的函数梯度下降法，对w，b进行求偏导反向传播的简单理解：通过上面的分解，J对w的偏导，分解为J对a的偏导，a对z的偏导，z对w的偏导，一个反向链条，从J传播到w...

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常用的方法之一。一、梯度在微积分里，对多元函数参数求偏导，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。如果是一元函数，梯度就是偏导。例如，f(x1,x2),分别求偏导，梯度向量就是(∂f/∂x1, ∂f/∂x2)梯度向量的意义：从几何意义上来讲，就是函数变化增加（上升）最快的方向。二、梯度下降在机器学习算法中，在最小化损失函数时，可以通过梯度下降来一步步的迭代求解，...

tf.nn.conv2d()是TensorFlow中用于创建卷积层的函数，这个函数的调用格式如下：def conv2d(input: Any, filter: Any, strides: Any, padding: Any, use_cudnn_on_gpu: bool = True, ...

tf.tile(input, multiples, name=None)作用是吧input按照multiples的要求复制，构建新的tensor注意：multiples中的元素个数必须跟input的维度相同，不然会报错import tensorflow as tf a = tf.constant([1,2,3])b = tf.constant([[4,5,6],[7,8,9]...

range(limit, delta=1, dtype=None, name='range')range(start, limit, delta=1, dtype=None, name='range')从start开始，到limit结束（不包括limit），间隔delta，生成一维序列import tensorflow as tfwith tf.Session() as sess...

tf.reshape(tensor,shape, name=None)作用就是把tensor变换为shape的形式reshape里面的参数的乘积必须是等于上面数组所有参数的总和。shape里可以存在-1， -1的意思是这一维的数目会被自动计算。-1只能有一个。我们可以这样理解变换过程，首先把tensor变换成一维的，然后再根据shape变换。...

在机器学习中经常需要对向量，矩阵有一个对于它们大小的度量。范数的定义：∣∣x∣∣p=(∑i∣xi∣p)1p||x||_p = (\sum_i |x_i|^p)^{\frac{1}{p}}∣∣x∣∣p​=(i∑​∣xi​∣p)p1​其中，p ∈ R, p ≥ 1范数实质就是将向量映射到非负值的函数， 当p=2时，L2L^2L2范数称为欧几里得范数。因为在机器学习中用的太多， ∣∣x∣∣2...

gather_nd的定义如下：def gather_nd(params, indices, name=None)功能：根据indeces描述的索引，在params中提取元素，重新组成一个tansor``

卷积计算过程单通道图像输入层大小为5x5， 卷积核为3x3，输出的计算过程如下：Stride和Padding如果将输入层想像成黑板，局部感受野就像是黑板擦，他会从左往右，从上至下的滑动，每次滑动1 个步长（Stride）并且每次滑动都重复上述的计算过程，我们就可以得到输出的特征图（feature map），有时候，按照规定步数滑动到黑板边缘时，黑板擦一部分会露出在黑板外，这个...

转载出处：http://www.cnblogs.com/willnote/p/6758953.html官方API定义tf.argmax(input, axis=None, name=None, dimension=None)Returns the index with the largest value across axes of a tensor.Args:input: A ...