hhyer的博客

title: Adaboostdate: 2021-12-21 01:27:40tags: 机器学习关于AdaboostAdaboost算法是针对二分类问题提出的集成学习算法，是boosting类算法最著名的代表。当一个学习器的学习的正确率仅比随机猜测的正确率略高，那么就称它是弱学习器，当一个学习期的学习的正确率很高，那么就称它是强学习器。而且发现弱学习器算法要容易得多，这样就需要将弱学习器提升为强学习器。Adaboost的做法是首先选择一个弱学习器，然后进行多轮的训练，但是每一轮训练过后，都要根.

title: 三层感知机-step by stepdate: 2021-11-09 23:12:33tags: 机器学习实现内容：实现一个三层感知机对手写数字数据集进行分类绘制损失值变化曲线完成kaggle MNIST手写数字分类任务，根据给定的超参数训练模型，完成表格的填写实现数据集使用手写数字集。并且40%作测试集，60%做训练集。import matplotlib.pyplot as plt%matplotlib inlinefrom time import timei.

关于Logistic Regression逻辑回归简单来说，就是对于一组几维的数据，每个数据对应着一个类别，这里用yyy表示。用于训练，然后目的是对于一组多维的输入能够预测其类别yyy实现方法步骤大致与Linear Regression类似，深层原理不再赘述。注意在分类问题中使用的是Cross-Entropy Loss Function，为什么，因为如果使用Quadratic Loss Function的话会让拟合的标准过于严格，因为要让一组数据属于某一类并不需要其与target一模一样，只需其属于

关于线性回归即对于几组input和target的值用模型进行线性的拟合。比如对于房子的不同地理位置大小等因素决定的房价。线性的模型就是对于一组input输入得出与target相近的out。过程较为普式的把输入对象的属性整合为一组集合[x1j,x2j,x3j,...,xnj][x_1^j,x_2^j,x_3^j,...,x_n^j][x1j​,x2j​,x3j​,...,xnj​]，对应的target为yjy^jyj。然后对于一个jjj给出预测的out（target的prediction）：hθ(x

损失函数损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异．下面介绍几种常用的损失函数．0-1损失函数（0-1LossFunction）最直观的损失函数是模型在训练集上的错误率，即0-1损失函数L(y,f(x;θ))={0if y=f(x;θ)1if y≠f(x;θ)=I(y≠f(x;θ))L(y,f(x; \theta)) = \left\{\begin{matrix}0 & if ~y = f(x; \theta) \\ 1 & if ~y

Machine Learning 学习2特征提取特征提取有两种方法，一种是DictVectorizer,另一种是CountVectorizer。分别用于字典特征提取和文本特征提取。首先要从sklearn.feature_extraction中导入DictVectorizer这个类型，它的作用其实就是将字典集向量化。但是需要用一个变量将其实例化。fit_transform()的返回值是一个sparse矩阵，将所有的特征值作为列索引，并且返回值即为1/0，表示后面的key是否表示该元素的属性；并且对于所

Machine Learning 学习1从sklearn中获取鸢尾花数据集先导入库import sklearnfrom sklearn.datasets import load_iris定义在一个函数里面：注意这里数据集是一个字典，对于data的value是一个array，使用shape可以快速了解此array的信息。并且data为特征值，target为目标值def datasets_demo(): iris = load_iris() print("鸢尾花数据集：\n"