qq_26972735的博客

预备知识Hesse 矩阵函数f(x)f(x)f(x)为自变量为为向量的实值函数，其中x=[x1,x2,...,xn]x = [x_1, x_2,...,x_n]x=[x1​,x2​,...,xn​]，则Hesse矩阵的定义为：H(f)=[∂2f∂x12∂2f∂x1∂x2⋯∂2f∂x1∂xn∂2f∂x2∂x1∂2f∂x22⋯∂2f∂x2∂xn⋮⋮⋱⋮∂2f∂xn∂x1∂2f∂xn∂x2⋯∂2f∂xn2]\LargeH(f)=\left[\begin{array}{cccc}\frac{\parti

有这么几个问题：1、什么是正则化？2、为什么要用正则化？3、正则化分为哪几类？      在机器学习中我们经常看到在损失函数后会有一个正则化项，正则化项一般分为两种L1正则化和L2正则化，可以看做是损失函数的惩罚项。惩罚项的作用我认为就是对模型中的参数限制，从而防止过拟合。 L1正则化就是参数向量的1范数：对参数向量各个分量去绝对值求和 L2正则化就是参数向量的2范数：对参数向量各个分量求平方和在...

现在逐渐的开始接触深度学习的知识，最近看了Ng老师的深度学习视频，看到里面介绍了几种经典的卷积神经网络其中就包含LeNet-5所以就照葫芦画瓢，用tensorflow实现了一下最原始的LeNet-5模型，顺便也是为了学习tensorflow。虽然代码很简单，由于是新手遇到了很多意想不到的坑。所以写篇博客记录一下。开始一定要牢记的一句话，一定要把模型分析透了再去写代码，每一层的输入是什么shap...

最近学习卷积网络用到cifar10数据集，自己写了一个工具类，用来读取已经下载到本地的cifar10数据集。代码写的不算好，但是自己用起来还可以。所以放到网上，有需要的可以拿去用。代码比较少，所以没有写注释。下面介绍一下实现的功能。完整的代码可以在github上下载。地址：https://github.com/NewQJX/DeepLearning/tree/master/Cifar10文...

最近在看GAN和VAE的过程中，发现信息熵的概念多次出现，就又复习了一下。为了更形象的了解信息熵，在网上找信息熵函数图像的过程中，发现只有二元的信息熵图像，出于好奇，画了就画了一下三元的。E=−p1∗log2p1−(1−p1)∗log2(1−p1)E = -p_1 * log_2p_1 - (1 - p_1) * log_2(1 - p_1)E=−p1​∗log2​p1​−(1−p1​)∗log...

fashion_mnist数据集， K近邻方法。K=5， 测试集准确率0.8554。

线性回归总结一下机器学习中最常见的模型，首先说一下线性回归模型。给定数据集{(x(i),y(i))}i=1N\{(x^(i), y^(i))\}_{i=1}^{N}{(x(i),y(i))}i=1N​,x(i)x^{(i)}x(i)为d维向量，y(i)y^{(i)}y(i)为实数值。我们现在认为所有的x(i)x^{(i)}x(i)与对应的y(i)y^{(i)}y(i)之间存在一种线性关系。所以...

梯度下降方法总结import numpy as npimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dfrom IPython.display import Image深度学习中，我们最常用的优化算法就是基于梯度的方式了。所以在这里总结一下我目前所能理解的方法。（PS：在写这个的过程中，我发现指数...