m0_53294028的博客

自适应增强算法AdaBoost是一种提升(Boosting)算法。提升算法，或者叫作增强算法，是以迭代的方式将若干弱模型组合为一个强模型，每一轮迭代产生一个“弱模型”,经过若干轮迭代之后，将弱模型进行加权融合，组成一个“强模型”。这就是提升算法的一般框架。而梯度提升算法，是另一种应用广泛的通用提升算法。今天从梯度下降法开始，学习了梯度提升算法的实现，了解了它的数学一般表示形式。在梯度 下降法的基础上，运用迭代的思想，将不同的模型进行组合，就得到了梯度提升算法。

群体的智慧常常优于单个个体的决策。正所谓，“三个臭皮匠顶个诸葛亮”，集成学习的思路正是如此。单个模型的预测误差可能比较大，但将若干个比较弱的模型组织再一起，则可以减少误差，产生较强的预测模型。以上就是今天的学习内容，本文仅仅简单介绍了集成学习的思想，详细了解了AdaBoost算法的设计过程。

在此之前，我们都是用模型解决简单的二分类、多分类问题或者是回归问题。这一篇开始解决稍微复杂的问题：物体检测。不同于图片分类时的输入图片仅包含一个物体，并且位于图片中央，占据图片的大部分未知；物体检测的任务恰与之相反，任务目标主要是识别图像中的物体位置，用矩形框标注出物体的位置，同时给出物体类别。物体检测技术,已经广泛应用于人脸检测 \行人检测系统 \辅助驾驶 车辆检测等等中.首先，定义模型类TinyYolo-Network, 在构造函数中定义先验物体框 物体类别数量和网络的各层单元模块.

今天学习的内容是以手写数字识别任务为例，展示了使用PyTorch框架构建和训练一个简单的神经网络模型的完整流程。数据预处理：定义了数据转换操作，包括将图像转换为张量和归一化处理。下载并加载了MNIST数据集，分为训练集和测试集。创建了数据加载器，用于批量加载数据并在每个epoch开始时打乱数据顺序。模型定义：使用MnistNet类定义了一个神经网络模型，该类继承自nn.Module。MnistNet类中包含了两个卷积层和两个全连接层，以及前向传播逻辑。

李飞飞等人在2006年发起并建立了ImageNet数据集，这是一个包含上千万张图片、数千不同类别物体的数据集，处理计算机视觉任务的深度神经网络通常在则会个数据集上进行训练。Geoffrey Everest Hinton等人的AlexNet 是最早广为人知的深度神经网络模型之一。这里重点介绍LENET、AlexNet的卷积和池化的思想。本节介绍了卷积和池化的概念，介绍了LeNet与AlexNet，AlexNet的改进。通过一个简单的图像处理，演示了卷积的代码。

人工神经网络( Artifical Neural Network, ANN)是按照联结主义思想构建的智能计算模型。生物通过相互连接的大量神经元实现了智能，人们受此启发，相信通过将人工神经元组织成相互连接的网络，也能使机器表现出智能。由此产生了一系列神经网络计算模型，比如，前馈神经网络、循环神经网络、径向基函数网络、自组织神经网络、玻耳兹曼机等。本章着重介绍前反馈神经网络。

回归和分类是机器学习的核心问题，它们都可以描述自变量和因变量之间的关系，通过自变量的观测值取预测或估计对应的因变量。当因变量是连续型数值时，模型解决的是回归问题。当因变量是离散值时，模型解决的是分类问题。这些离散值就代表了不同的类别。而逻辑斯蒂Logistic Regression就是一种特殊的线性回归模型，用于解决分类问题。它与感知机有着密切的联系。这一章学习了逻辑斯蒂回归的两个重要改进：SoftMax函数和交叉熵的损失函数。

感知机等早期人工智能模型采取仿生学的方法模拟生物智能机制，人们在开展这些早期研究的时候，并没有从统计学角度去深究它们的数学本质。与此同时，甚至在更早时候，统计学家已经在使用一些函数拟合或者参数估计的方法，来描述观测数据的概率分布，或者定量描述不同观测量之间的函数关系。人们假设数据符合某种分布，或者数据之间存在某种定量函数关系，通过观察数据推测概率分布或者函数关系的参数。这些方法与人工智能中的很多方法有着密切的联系，它们背后的数学原理是一致的。

当感知机训练完成后，我们把每个像素点对应的权值重新按照像素点位置排列起来，将权值大小转换为颜色(权值越小颜色越偏向红色，权值越大颜色越偏向蓝色，中间值为白色)，就可以观察到感知机是如何工作的了。最终，这行代码打印出一个列表，列表中的每个元素都是一个字符串，代表out数组第i行中的一个输出值，格式化为保留两位小数的浮点数。将这些感知机的权值画成图像，可以明显地看到，权值的分布大体反映了数字笔画的平均走向，我们依稀可以从中看出数字的轮廓，如图3.8所示。对角线输出值较大，说明对应的感知机识别出了图片中的数字。

早期人工智能有符号主义、联结主义和行为主义几种不同的流派。符号主义的代表是专家系统，主张用符号计算和逻辑推演描述和解决问题。行为主义关注系统的感知和动作，后来发展为控制论。联结主义采取了仿生学的方法，认为智能存在于神经元的连接中。感知机模型是最早模拟神经元的智能计算模型，是现代神经网络模型的基础。提示：以下是本篇文章正文内容，下面案例可供参考感知机能够处理什么样的问题呢?观察刚刚训练得到的感知机的权重，当加权和为0的时候，Sigmoid.的函数输出值为0.5，这就是感知机能够分类的数据的边界。

你好哇，昆兰(Quinlan)在1986年发表的论文中详细描述了决策树算法，是一种用于分类的树状结构，简洁直观、有效。在1979年昆兰提出了ID3算法，该算法最初被用来判断国际象棋残局的输赢，后来通用于分类问题。并且在此基础上，提出了一系列的改进算法，如C4.5等。在昆兰发表决策树算法的时代，机器学习的概念已经提出。人们意识到，学习是智能行为的重要特征，昆兰将当时的机器学习方法分为两类：一类是能够自我改进的自适应系统，它们通过监测自己的性能，调整系统内部参数，向着目标方向做出改进；

你好哇，下定决心要在毕业前完成这一本书的学习，这个系列用于记录阅读这本书的笔记和一些代码、想法~以上就是今天学习的内容，本文仅仅简单介绍了最早期的人工智能系统——专家系统，它的优势在于，移植到其他系统不需要改变推理引擎，而只需要重新定义规则。

本次实验完成了python主成分分析的实现，涉及了较多numpy库中一些函数的使用以及pandas读取文件的内容。主成分分析的主要目的是为了降维，如上题所示，通过降维将8个变量降成了4个变量，他们包含了原始变量的大部分信息。对该数据集利用主成分分析属性选择方法，为此包含6个属性值209个样本的数据集进行属性提取（用原始属性的线性组合表达），累积贡献率设为90%。了解主成分分析算法的基本思想、实现步骤，并用代码实现。

后面划分了测试集和训练集后，明显改善了模型的预测能力，无论测试集比例为0.1或0.2时，它得出来的模型都至少能够预测“35岁年收入为10万的已婚男性”的所购车型，并且无论如何划分测试集与训练集，利用信息增益最大的原则得出的决策树对“35岁年收入为10万的已婚男性”的所购车型都预测为普通。为了方便存储数据，若数据集的最优分裂属性为连续型，则在最佳分割点处将数据集二分,值为0的分支表示小于最佳分割点处的临界值，1表示大于或等于最佳分割处的临界值。由于每次的抽样不同，训练集和测试集不同，所以得到的决策树也不同。

本次使用了方差分析来进行特征选择，但对于结果(选择所有特征代入模型)不太确定。对比了随机森林、决策树、XGBoost三种回归的效果。在实际的代码中，还对比了岭回归和Lasso回归，效果远远低于这三种，就没有写进来。感觉特征选择做的不好，导致训练模型过拟合了。