song430的博客

单层感知机的原理感知机是一种二分类的线性分类模型，一个训练好的感知机会将输入的特征向量转化成+1和-1两类。在训练过程（将一个目标函数最小化）中，会根据输入特征学习到一个超平面，这个超平面由两个参数向量（www和bbb）决定，训练过程也就是不断改变这两个参数的过程，直到取值使得目标函数最优。感知机模型假设一个数据集（x,yx,yx,y），xxx是特征值，yyy是样本标签（取值为+1和-1），...

本文是对kaggle比赛的总结贴，主要是对已有的方法进行尝试。比赛网址为https://www.kaggle.com/c/LANL-Earthquake-Prediction。部分内容参考了如何在Kaggle首战中进入前10%介绍本次比赛是采用的实验室的模拟地震的数据，我们需要根据现有的数据预测还有多长时间会发生下一次地震，本次比赛用的是kaggle的kernel来写代码（类似于jupyte...

逻辑回归可以用于解决二分类问题，之前写的感知机也是用于二分类问题的，不过感知机将特征的线性组合映射到了（-1，+1）两个离散值，logistic regression则将这个线性组合的输出映射到了（0,1）区间之内，并且一般认为输出≥0.5\geq0.5≥0.5就取为1，反之则取为0。逻辑回归...

本文参考了Kaggle机器学习之模型融合（stacking）心得stacking是用于模型融合的一个大杀器，其基本思想是将多个模型的结果进行融合来提高预测率。，理论介绍有很多，实际的例子比较少，本文将其实例化，并给出详细的代码来说明具体的stacking过程是如何实现的。stacking理论的话可以用下面的两幅图来形象的展示出来。结合上面的图先做一个初步的情景假设，假设采用5折交叉验证：...

本篇文章参考了李航老师的《统计学习方法》第二版。矩阵的奇异值分解是将一个矩阵分解成多个小矩阵的乘积，在PCA（principal component analysis，主成分分析）和LSA（latent semantic analysis，潜在语义分析）中都有应用，在此把矩阵的分解过程记录下来，证明过程先略过。矩阵的SVD分解首先看一下定义，给定非0的m×\times×n实矩阵A，它可以表示...

报告的生成以及病人生存天数的预测csv里面只有年龄，剔除掉未知存活天数的样本，剩余有210个，用年龄做了和存活天数的相关性，为-0.3，相关性可以看做是负相关，即年龄越大，生存的天数就越短。用年龄简单的写了一个回归，但是效果不是非常好，损失函数非常大。又看了一下样本中的HGG和LGG，发现只有HGG，也就是患有LGG的患者应该都是可以痊愈的，实际上患HGG的也有痊愈的，不过只有2个，直接剔除...