默的博客

机器学习中用到的特征缩放

矩阵 AAA 为一个 m×nm×nm×n 的矩阵，对于矩阵 AAA 的 SVDSVDSVD 为：A=UΣVTA=UΣV^TA=UΣVTUUU 为 m×mm×mm×m，ΣΣΣ 为 m×nm×nm×n，VVV 为 n×nn×nn×nUUU 和 VVV 是正交矩阵，ΣΣΣ 是奇异值组成的对角矩阵Σ=diag(σ1,σ2,...,σp)            st.  

我们希望学习一个最优的线性回归的模型参数 w\pmb wwww使用经验风险最小化（也叫最小二乘法）来进行参数估计风险函数：R(w)=12∑n=1N(y(n)−wTx(n))R(\pmb w)=\frac{1}{2}∑_{n=1}^{N}(\pmb y^{(n)}-\pmb{w}^T\pmb x^{(n)})R(www)=21​∑n=1N​(y​y​​y(n)−wwwTxxx(n))          

对协方差矩阵的特征向量最直观的解释之一是：它总是指向数据方差最大的方向。更准确地说，第一特征向量是数据方差最大地方向，第二特征向量是与第一特征向量垂直方向上数据方差最大地方向，第三特征向量是与第一和第二特征向量垂直地方向上数据方差最大地方向，以此类推。下图是二维空间的一个例子：每个数据样本都是可以用坐标x、y表示的二维点。这些数据样本的协方差矩阵的特征向量是u和v。较长的u是第一特征向量，较短的v是第二特征向量。特征值的大小用箭头的长度表示。我们可以看到，第一个特征向量（从数据的平均值）指向欧几里

下载链接：https://graphviz.gitlab.io/_pages/Download/Download_windows.html下载Graphvizpydotplus依赖Graphviz这个绘图库, 它是c开发的, 所以在安装pydotplus之前, 需要首先安装Graphviz, 不过不管哪个系统, 它都有编译好的二进制包, 可以直接安装。以windows为例, 我们首先需要现在G...

文章目录seaborn库matplotlib库seaborn库是一个基于matplotlib的可视化库1、将矩阵绘制成混淆矩阵（热点图）：import matplotlib.pyplot as pltimport seaborn#将矩阵绘制成热点图seaborn.heatmap(mat)#显示当前图形，否则会在最后才显示plt.show()示例：绘制一个二分类的混淆矩阵：i...

文章目录StratifiedShuffleSplitRepeatedStratifiedKFoldKFoldRepeatedKFoldStratifiedShuffleSplitstratified：分层的 shuffle：洗牌 split：分开意为分层随机打乱原文说明：Stratified ShuffleSplit cross-validatorProvides train/tes...

首先将数据集划分为训练集和测试集进一步将训练集划分为验证集和估计集训练集：用于建立模型，训练模型的拟合能力测试集：用来检验最终选择最优的模型的性能验证集：用来确定网络结构或者控制模型复杂程度的参数，即用于参数的优选1、首先将数据集划分为训练集和测试集留出法：直接将数据集划分为两个互斥的集合，其中一个作为训练集，另一个作为测试集train_test_split()函数的参数说明tra...

为什么要进行标准化预处理？一般利用到距离的机器学习问题，都需要进行标准化预处理。例如：在分类问题中，不同特征的数量级大小不同，如果一个特征的数量级很大，就可能会湮没其他特征对于分类决策的影响。所以需要进行标准化预处理来统一数量级，使其变成均值为0、方差为1的数据。标准化预处理公式：(X−mean)/std(X - mean) / std(X−mean)/std标准化预处理函数在sklearn库中，有对于特征的标准化函数需要注意的是，此...

文章目录1、numpy库2、random库3、sum函数4、matplotlib库和seaborn库1、numpy库生成一个2×2并且初值为0的矩阵：import numpymat = numpy.zeros((2, 2))print(mat)效果：2、random库randint(l, r)：随机生成 [l, r] 范围的整数随机生成1—10（包括10）的整数：impor...