feeling_time的博客

核函数是一种将输入向量映射到高维空间中的方式，使得在该高维空间中，点之间的内积可以表示为原空间中的非线性组合。具体来说，给定两个向量 (x\mathbf{x}x) 和 (y\mathbf{y}y)，核函数 (KxyKxyKxyϕx⊤ϕyKxyϕx⊤ϕy其中，(ϕxϕx) ) 是将输入向量 (x\mathbf{x}x) 映射到高维空间中的映射函数。核函数的选择直接影响到了模型的性能和计算效率。

二分类是指将输入样本分成两个互斥的类别。邮件 spam 或不是 spam。病人是有病或健康。物品是正品或假货。多分类是指将输入样本分成三个或更多互斥类别。图像分类：识别图片中的物体（如猫、狗、鸟等）。文本分类：将文本归类到多个主题类别中。

概率表示随机事件发生可能性大小的一个数值,随机事件指在相同条件下,可能出现也可能不出现的事件。抛硬币: 当我们抛硬币时,可以正面朝上也可以反面朝上,正面或反面朝上的可能性被称为概率。理想状态下正反概率都是0.5。掷骰子: 掷一个六面的骰子,每个点出现的概率是1/6,因为每个面出现的机会是均等的。抽取商品: 一批商品包含良品和次品,随机抽取一件,抽取良品或次品是一个随机事件,经过大量实验,我们可以得到一个常数,表示抽取次品的概率。

决策树的核心思想在于选择一个特征作为分裂条件，将当前的数据划分为两个子节点，并重复这个过程直到达到停止条件。分裂条件的选择通常基于信息增益（香农信息量）或基尼不等式，以确保每次分裂都能带来最大的信息量。与线性模型不同，决策树能够自动识别重要的特征，并根据数据情况生成复杂的决策规则。香农信息量衡量了特征是否有助于区分不同类别的数据分布，而基尼不等式则评估了特征对分类任务的影响程度。决策树的准确率是其评估性能的重要指标。特征标准化或归一化对决策树的影响有限，因为决策树主要关注特征的分类属性而非数值范围。

先训练一个初始模型;根据模型的表现进行调整,使得模型预测错误的数据获得更多的关注,再重新训练下一个模型不断重复第二步,直到模型数量达到预先设定的数目,最终将T个模型加权结合对于一个离散随机变量 ( X )，假设其取值为 ( x_1, x_2,\ldots, x_n )，每个取值的概率分别为 (pxip(x_ipxi​) )。

逻辑回归是一种用于分类问题的统计方法。它通过计算目标变量的概率来预测类别归属，并假设数据服从伯努利分布（二分类）或多项式分布（多分类）。逻辑回归模型输出的是概率值，通常使用sigmoid函数将线性组合映射到0和1之间。逻辑回归是一种广义线性模型，其核心思想是将线性组合通过sigmoid函数转换为概率值，从而确定样本属于某一类的概率有多大。Py1∣x11e−wTxbPy1∣x1e−wTxb1​www是权重向量xxx是输入特征向量bbb。

在应用多项式回归时，一个关键的问题是选择适当的多项式次数。虽然这个模型在训练数据上完美地通过了每一个点，但它可能无法准确预测新的房价数据，因为模型过度捕捉到了训练数据中的噪声。然而，需要注意的是，虽然多项式回归仍然属于线性模型家族，但通过引入高阶特征，它能够捕捉到更复杂的模式和关系。欠拟合是指模型无法充分捕捉到训练数据中的模式或特征，导致在训练数据上的表现不佳，同时泛化能力也较差。：在能源管理中，电力需求可能随着温度的升高呈非线性变化，比如在非常高的温度下，需求增长趋缓甚至下降。

线性回归是一种监督学习算法，用于预测一个连续的数值目标变量。它通过一条直线（在单变量情况下）或超平面（在多变量情况下）来建模自变量与因变量之间的关系。MSE 是预测值与实际值之间差异平方的平均值，反映了模型预测的误差大小。它是一种直观且常用的损失函数，在回归问题中广泛应用。R² 是一种衡量模型对因变量变化的解释程度的指标。它表示自变量能解释因变量变异的比例，取值范围为 [0, 1]。