ma_ant的博客

聚类算法是一类无监督学习方法，旨在将数据划分为若干组（簇），使得同一簇内的样本相似度高，而不同簇间的样本差异大，根据样本之间的相似性，将样本划分到不同的类别中。

集成学习: (Ensemble Learning)是一种机器学习范式，它通过构建并结合多个模型来完成学习任务,获得更好的泛化性能。其中，参与组合的模型又叫弱学习器或者基学习器。

决策树是一种树形结构，树中每个内部节点表示一个特征上的判断，每个分支代表一个判断结果的输出，每个叶子节点代表一种分类结果。它主要用于分类和回归任务，通过递归地分裂数据集构建树状结构。2.决策树构建过程（三要素）① 特征选择选择较强分类能力的特征② 决策树的生成根据选择的特征生成决策树③ 决策树的剪枝决策树也容易过拟合，采用剪枝的方法缓解过拟合3.优缺点及应用可解释性强能处理非线性关系对缺失值有一定鲁棒性容易过拟合对数据变化敏感可能产生不稳定树结构。

(Logistic Regression)通过将线性回归的输出映射到(0,1)区间，使用Sigmoid函数将连续值转换为概率值，设置一个阈值（如下图的0.5），然后根据概率值进行二分类预测。ROC曲线以模型的真正率TPR为纵轴，假正率FPR为横轴，它将模型在不同阈值下的表现以曲线的形式展现出来。, (x_n, y_n) ]，n个样本都预测正确的概率就是伯努利分布的。逻辑回归的假想函数：h(w) = sigmoid(w^Tx + b )，把线性回归的输出，作为逻辑回归的输入。样本不平衡情况下模型训练；

其核心思想是“物以类聚”——通过计算待分类样本与训练集中样本的距离，找到最近的K个邻居，并根据这些邻居的类别进行投票决定待分类样本的类别。Ⅱ.网格搜索：网格搜索是模型调参的有力工具，只需要将若干参数传递给网格搜索对象，它自动帮我们完成不同超参数的组合、模型训练、模型评估，最终返回一组最优的超参数。为什么要预处理：特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些模型（算法）无法学习到其它的特征。比如：根据你的“邻居”来推断出你的类别。

1.数据：海量、高质量的数据是训练AI模型的基础，涵盖结构化（如表格）和非结构化数据（如文本、图像）。AI的子领域，通过算法让计算机从数据中自动学习规律，无需显式编程，模型性能与数据质量和规模直接相关。Ⅲ：奥卡姆剃刀原则：给定两个相同泛化误差的模型,较简单的模型比较复杂的模型更可取。从数据中自动学习规律，构建预测模型，通过参数（如权重、概率分布）泛化到新数据。2.算法：从数据中提取规律的方法，包括传统机器学习（如SVM）和深度学习。Ⅱ：泛化： 模型在新数据集(非训练数据)上的表现好坏的能力。

【代码】优化鸢尾花案例。

利用回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式2.公式：一元线性回归：y = wx+b多元线性回归： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b。