HongDouZhou233-优快云博客

原创 tensorflow InvalidArgumentError: Cannot serialize protocol buffer of type tensorflow.GraphDef 错误分析

训练nfm模型，每2000个step进行保存。一开始模型训练正常，但是在使用tf.train.Saver的save方法保存模型时出现了如下错误：tensorflow.python.framework.errors_impl.InvalidArgumentError: Cannot serialize protocol buffer of type tensorflow.GraphDef as the serialized size (2239053850bytes) would be larger th

2020-08-27 20:52:57 1854 2

原创 SVM（支持向量机）原理及数学推导

决策平面在样本空间中，超平面可以用以下线性方程描述：(1)wTx+b=0\tag{1}\bold{w^Tx} + b = 0wTx+b=0(1)其中w=[w1 w2 ... wm]\bold w = [w_1 \ \ w_2 \ \ ... \ \ w_m]w=[w1 w2 &nbsp...

2019-08-06 22:37:20 305

原创避免过拟合的方法

1. Weight Decay 权重衰减等价于L2范数正则化。为模型损失函数添加惩罚项，新的损失函数为：L=l(w,b)+λ2∣∣w∣∣2w←w−η∂L∂wL = l(w,b) + \frac{\lambda}{2}||w||^2\\w \larr w - \eta \frac{\partial L}{\partial w}\\L=l(w,b)+2λ∣∣w∣∣2w←w−η∂w∂L...

2019-07-19 21:17:07 355

原创经典神经网络

LeNet（1998）可以看作是第一个卷积网络的实例。使用步长为1，大小为5x5的卷积核主要用于数字识别领域。AlexNet（2012）第一个在ImageNet的分类比赛中获得成功的大型卷积神经网络（第一个基于深度学习的网络架构）。从此卷积神经网络开始了大规模的研究和应用。基础架构是卷积层——池化层——归一化层——卷积层——池化层——全连接层。层数变多，卷积层达到了5层。VGG（20...

2019-07-19 21:12:18 376

原创神经网络的优化算法

神经网络的优化算法1. SGD 随机梯度下降wt←wt−1−η∇wL(x)w_t \larr w_{t-1}-\eta\nabla_w L(x)wt←wt−1−η∇wL(x) 训练速度较快，但是不是全局最优解，容易困在鞍点（saddle point）和极小值点。如果函数的形状非均向，搜索路径效率就会非常低（根本原因：梯度方向没有指向最小值方向）2. Momentum 动量...

2019-05-28 09:13:22 432

原创线性回归与逻辑回归的原理及推导

线性回归线性回归使用线性模型去拟合数据集，进行预测。线性回归的预测函数的一般形式为：f(x)=Σi=0nwixi+bf(\bold x) = \Sigma_{i=0}^n w_ix_i +bf(x)=Σi=0nwixi+b用xi\bold x_ixi表示第i个样本的特征，如果样本有m个特征，则xi\bold x_ixi为一个m为特征向量xi=[x1(i) x2(i)&...

2019-05-09 11:00:27 1290

原创使用pyspark实现计算Top k

关于Spark和Hadoop的安装这里暂且不讲，只讲Spark的使用。Top K就是要计算一个数组中前k个最大元素。这里我们把数据存储在一个文件中，文件中的没一行对应的是数据的id和数据的值。其中的每个id可能会多次出现。需要计算所有id中对应的出现的值之和最大的k个id。文件格式：id1,200id2,700id3,450id1,300...首先使用spark需要导入py...

2019-03-22 10:50:18 3544 3

原创三种决策树划分节点的选择依据

因为记不太清决策树划分节点时的特征选择依据是怎么算的,所以现在整理一下,顺便区分一下ID3、C4.5、CART分别使用的节点划分方法以及区别。决策树的建树方法都是使用贪心的方法，每次都选择当前节点的最优划分。ID3ID3使用最大信息熵增益（Information Gain）来选择分割数据的特征信息熵Entropy或Info。熵反应了物体内部的混乱程度，而信息熵反应了不同类的样本的占比，...

2019-03-20 21:04:59 14804 1

原创牛顿法及其几何意义理解

牛顿法牛顿法是一种用来求解可微函数的近似解的方法。首先从几何意义上直观的理解一下牛顿法。图中y=f(x)y=f(x)y=f(x) 是一个可微函数。在点(xn,f(xn))(x_n, f(x_n))(xn,f(xn))作切线，和yyy轴的交点记为xn+1x_{n+1}xn+1。Δx=xn+1−xn\Delta x = x_{n+1}-x_nΔx=xn+1−xn。要求方程f(x)=0f...

2019-01-07 15:24:07 8671 1

原创使用IntelliJ IDEA构建Spring Boot + JSP项目

项目开发过程中需要用到Spring Boot + JSP，在搭建框架的时候也碰到了不少问题，所以在这里自己整理了一篇教程以及一些注意事项。首先创建一个Spring Boot项目。为了方便，可以选择File——>New Project——>Spring Initializer，使用Spring Initializer从https://start.spring.io/创建Spri...

2018-07-25 19:43:49 3017 1

HouDouZhou的博客