qq_56577959的博客

摘要：支持向量机（SVM）的性能高度依赖核函数选择，其核心思想是通过寻找最优超平面实现分类。硬间隔SVM要求严格线性可分，而软间隔SVM通过惩罚系数C平衡分类误差与间隔大小。SVM仅由支持向量决定决策边界，适合高维数据，但对核函数敏感且多分类处理效率低。关键要素包括核函数、拉格朗日乘子法和间隔优化，其中核函数构造方法直接影响模型表现。

表达式：图像：取值范围:(0,1)优点：平滑。缺点：1、激活函数计算量大，反向传播求误差梯度时，求导涉及除法；2、反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。3、（）输出不以零为中心并且输出恒正，导致权重更新容易出现锯齿形收敛路径(zig-zag收敛路径)，这样降低了更新效率，它通常不适合隐藏层，多用于输出层。

摘要：AdaBoostClassifier类核心参数包括estimator(基础学习器)、n_estimators(最大迭代次数)和learning_rate(学习率)，其中学习率与迭代次数存在权衡关系。AdaBoostRegressor类比Classifier类多一个loss参数，用于指定权重更新时的损失函数类型(linear/square/exponential)。学习率影响模型稳定性，高学习率减少估计器数量但可能不稳定，低学习率需要更多估计器但更稳定。两类算法通过调整这些参数实现性能优化。

本文介绍了GaussianNB高斯朴素贝叶斯分类器的两个关键特性。参数priors用于指定已知的类别先验概率P(y)，当传入该参数时可避免从数据中估算。方法部分说明了partial_fit()用于增量学习，predict_joint_log_proba()用于预测样本的对数联合概率。该分类器适用于需要快速实现且特征间独立性假设成立的场景。

X和Y是样本矩阵，它们的形状分别为(n_samples_X, n_features)和(n_samples_Y, n_features)，这个函数是计算X和Y之间的曼哈顿距离，返回值也是个矩阵，形状为(n_samples_X, n_samples_Y),它的第i行第j列元素表示X中的第i个样本到Y中的第j个样本之间的距离。以metrics.pairwise.manhattan_distances为例讲解如何使用。

摘要：朴素贝叶斯模型基于贝叶斯定理和特征独立性假设，通过条件概率实现分类，核心涉及条件概率公式和概率密度函数。其半朴素改进版本（ODE、SPODE、AODE、TAN）放宽独立性假设，在医学诊断、垃圾邮件过滤等领域展现优势。这些模型通过处理特征间依赖关系，在故障诊断、客户细分等场景中提高预测准确性，其中TAN还能构建特征依赖网络用于气象预测和基因分析。（149字）

思想：将目标值表达成特征值以及1的线性组合，线性回归模型的训练过程可以认为就是在寻找这个线性组合的过程。核心内容(损失函数)：最小二乘法。优点：1、可解释性强，因为能够通过这个线性组合直观看出每个特征对目标值的影响程度。2、能够具有处理线性关系的数据。缺点：1、对非线性关系的数据拟合能力差。2、多重线性问题无法解决，因为多重线性问题会导致最小二乘法求解中的那个矩阵近似奇异导致模型不稳定，即特征值的微小变动都会导致w的巨大变化，如果矩阵奇异的化就根本无法求解了。

拟合线性模型，其中X表示二维矩阵，形状为(n_samples, n_features)，y表示二维矩阵，形状为(n_samples, n_targets)，sample_weight是一维数组，表示每个样本的权重，也就是每个样本的可信度，值越大的表示这个样本数据越可信即越真实，值可以是小数可以是整数。返回使用的迭代器名称。

在此将sklearn官网的一张关于聚类算法比较的图片放过来。下面的表格是根据sklearn官网翻译而来。

归一化处理后的范围，默认将数据处理成0到1的范围。介绍：用于将数据集的每个特征的特征值进行归一化处理，即比如每个数据集中有两个特征，它会分别对每个特征进行归一化处理。MinMaxScaler类。

特别注意sklearn中的Isomap算法使用的不是MDS算法而是KPCA算法，这与西瓜书的Isomap算法描述不对应，不过这并不是什么大问题，因为Isomap其实最重要的是得到测地线距离，而这个类的dist_matrix_ 属性就可以获得距离为测地线距离的距离矩阵。参数每个样本点的近邻的数量，如果这个参数非空那么radius参数必须为空。每个样本点的近邻点的最大距离，比如参数值为1表示距离样本点小于1的点为它的近邻点。变换后的数据维度。

集成学习主要有两类，一类是boosting族算法，即序列化方法，一类是bagging族算法，即并行化方法。

多维缩放（MDS）算法旨在保持高维与低维空间中样本距离的相似性，允许降至任意维数，涉及内积矩阵和特征值分解。主成分分析（PCA）基于最近重构性和最大可分性，通过特征值分解实现线性降维，使样本点到超平面的距离最小化。核化线性降维（KPCA）先通过核函数升维再应用PCA。等度量映射（Isomap）通过构建近邻连接图计算最短路径来保持样本间的距离。局部线性嵌入（LLE）则保持近邻样本间的线性关系，确保高维空间的局部线性在低维中得以维持。这些算法均涉及特征值分解和特定距离或关系的保持。

熵是一个物理学、信息论等多个领域有着重要应用的概念。在物理学中的熵是用来衡量系统混乱程度的量，越混乱熵越大。在信息论中，熵是用来衡量信息的不确定性的量，如果发生一个事件的概率很低，那么它包含的信息量就很大，信息熵也就越高。

注意：sklearn中所有的决策树模型包括回归决策树实现的是CART决策树算法，在官方文档中有介绍。sklearn中的决策树模型最终得到的树结构都是二叉树，因为CART算法生成的就是二叉树。

所有的估计器基本都有fit和predict。

注意2：选择最优划分属性的方法有很多，但是有实验表明这些划分方法对决策树泛化性能的影响很有限，也有文献说信息增益和基尼指数仅在2%的情况下会有所不同。注意1：决策树有很多种算法，比如：ID3算法，C4.5算法，CART算法，这三个算法的区别是选择最优划分属性的方法不同，第一个是根据信息增益来选；涉及的知识：选择最优划分属性的方法，信息熵，信息增益，增益率，基尼指数，预剪枝，后剪枝，二分法，连续值处理，缺失值处理，ID3算法，C4.5算法，CART算法。单变量决策树是在节点处根据最优划分属性来进行划分。

功能：不直接进行分类或回归，而是返回样本的最近邻索引和距离，因此它是一个无监督的学习方法。

思想：它们都能做分类和回归。无论分类还是回归，基本思想是一样的，一种是根据距离它最近的k个样本点进行预测，一般有投票法、平均法、加权平均、加权投票。另一种是指定半径，根据半径内的样本点进行预测，同样的也有投票法、平均法、加权平均、加权投票。其中投票法和加权投票法是用在分类任务中的，平均法和加权平均法是用在回归任务中的。我将上面的这两种近邻分别称作k近邻和半径近邻。注意加权平均法在乘完权重然后求和后要除以权重的和。可以认为投票法是加权投票法的特例，平均法是加权平均法的特例。

变换器用于对数据进行预处理，如特征缩放、特征选择等；估计器用于进行模型训练和预测，如分类器、回归器等。将多个步骤封装成一个对象，减少了代码的复杂度，使代码更加简洁易读。可以将多个数据处理步骤和机器学习模型组合成一个序列，其中每个步骤都是一个变换器（进行参数调优，而不需要分别对每个步骤进行调参。

kd树是一种二叉树形数据结构和一种查找算法的结合，kd树有好几种，但是思想相同实际应用起来的差异不大，可以只了解其中一种即可。它常用于解决最近邻搜索问题，它能提升k近邻的效率。暂时不需要知道它的详细步骤，会应用即可。kd树的构建：它的大致流程是依次选择方差大的维度进行划分，为了使构建的树比较平衡会选择中位数进行划分(有的kd树不用中位数进行划分)，让中位数作为每一维的节点(它是非叶子节点)，这样就形成了二叉树形结构。

sklearn绘图很方便，它将不同种类的图由不同的类来实现，并统一类的方法，即不同种类的图需要用不同的类，但是这些类的使用却是基本一样的。

1、空间中的距离。2、字符串的距离。3、集合的相似度。4、变量/概率分布间的距离。

注意：特征提取和特征选择时不同的概念。

这里只介绍"filename"和"content",一般使用是都配合它的fit_transform方法使用，使用方法见下面代码。去除口音，默认不做任何操作。

sklearn有四部分数据。其中sklearn的数据集有两部分真实的数据，一部分嵌入到了sklearn库中，即安装好sklearn后就自带了一部分数据，这些数据的规模比较小称为small toy datasets ，还有一部分数据是需要在网上下载的，sklearn提供了下载的api接口，这些数据规模比较大。

稀疏矩阵的存储主要有三种格式：coo、crc、csr。知道有这三种格式就行，其实不需要了解这个具体的内容，下面的内容可以不用看，因为对于稀疏矩阵的储存有scipy中有现成的函数。以后遇到这种问题可以直接去学习如何使用scipy库调用相关接口。

介绍：主要用来求最小二乘解。优点：1、适用于大规模问题。尤其是矩阵为稀疏矩阵时，lsqr算法能有效减少计算量和储存空间。2、无需矩阵求逆，lsqr巧妙的避开了矩阵求逆，避免了矩阵求逆过程中可能出现的数值不稳定问题以及高昂的计算成本，特别是大型矩阵求逆计算量和难度都非常大。缺点：1、依赖初始值。2、解的精度取决于迭代次数和收敛条件。

正则化是用于控制模型的复杂度，防止模型在训练数据上过度拟合（overfitting）。正则化通过在模型的损失函数中引入额外的惩罚项，来对模型的参数进行约束，从而降低模型的复杂度。这个额外的惩罚通常与模型参数的大小或者数量相关，旨在鼓励模型学习简单的规律，而不是过度拟合训练数据。正则化的作用有：防止模型过拟合，减少模型复杂程度，提高模型鲁棒性。简单来说，正则化就是让对模型影响小的权重趋向零。使用L1正则化的模型叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）方法：在损失函数后面加上倍的权重

凸优化中对偶问题可以分为强对偶和弱对偶，强对偶表示原问题的最优解是对偶问题的最优解，弱对偶表示原问题的最优解大于对偶问题的最优解。如果原问题满足slater条件，那么原问题的对偶问题一定是一个强对偶的。slater条件内容:若原问题为凸优化问题，即和为凸函数，为仿射函数，且其可行域中至少有一点使不等式约束严格成立。严格成立就是小于号成立。

矩阵常用公式