PANSS__的博客

SVM是一种基于统计学习理论的监督学习模型，旨在找到一个最优超平面，将不同类别的数据点分隔开，同时最大化分类间隔（Margin）具体来说：在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。

决策树是一种树形结构，通过递归地将输入空间划分为不同区域，基于特征条件进行决策，最终用于分类或回归任务。1.2 组成根节点、内部节点、叶节点，分别表示数据集、特征条件和最终输出（类别或数值）。

Logistic回归是一种用于解决二分类问题（也可扩展到多分类）的监督学习算法，预测结果是 概率值（0到1之间）。

逻辑回归是一种用于二分类问题的机器学习算法，通过sigmoid函数将线性回归的输出映射到0到1之间，表示样本属于正类的概率。其核心是利用最大似然估计优化参数，构建损失函数（通常为对数损失），通过梯度下降等方法最小化损失来拟合模型。逻辑回归假设数据特征与目标变量之间存在线性关系，适合处理线性可分的数据。它简单高效，广泛应用于分类任务，如垃圾邮件检测、疾病预测等，但对非线性关系和多类问题需扩展处理。

ROC 曲线和 PR 曲线是评估二分类模型性能的强大工具。ROC 曲线关注模型区分正负样本的能力，而 PR 曲线更关注模型在正例上的预测能力，尤其适用于不平衡数据集。通过理解和绘制这两种曲线，我们可以更全面地了解模型的优缺点，并为模型选择和调优提供有力的支持。

KNN是一种基于实例的学习方法，它不构建模型而是直接使用训练数据集来对新样本进行预测。基本思想：通过计算新样本与已知类别样本之间的距离，找到最近的k个邻居，并根据这些邻居的多数类别来进行预测。

朴素贝叶斯是一种基于贝叶斯定理的概率分类算法。它属于监督学习算法的一种，也就是说，它需要一个带有标签（即正确答案）的训练数据集来学习。它的核心思想是：对于一个未知类别的数据样本，计算该样本属于各个类别的概率，然后选择概率最大的那个类别作为它的预测类别。

贝叶斯决策论的核心思想是基于后验概率来选择使得期望损失最小的决策实现过程：1.定义决策空间：确定决策集合2.建立先验概率：对决策问题进行建模，定义每个可能的状态或类别的先验概率分布3.估计条件概率： 估计在每个可能的状态下观察到数据 x 的条件概率分布4.计算后验概率：利用贝叶斯定理，计算在观察到数据 x 后每个可能状态的后验概率分布5.选择最优决策：根据后验概率分布和损失函数，选择能够最小化期望损失的最优决策的数学表达书为：其中是决策 d 在真实状态下的损失。

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。支持向量机是一种由Vladimir Vapnik等人提出的监督学习算法，最初用于解决分类问题，后来也扩展到回归问题。其主要思想是在特征空间中找到一个最优的超平面，用于对数据进行分类或回归。

逻辑回归是一种经典的统计学习方法，被广泛用于解决二分类问题。尽管名字中含有"回归"一词，但实际上它是一种分类算法。用于预测一个二元因变量（即因变量的取值只有两种可能，如“是/否”，“0/1”，“成功/失败”等）与一个或多个自变量之间的关系。简单而有效、计算效率高、适用性广泛等。

线性回归是一种用于建立变量之间线性关系的统计模型，通常用于预测或解释因变量（目标变量）与一个或多个自变量（特征）之间的关系。简单说，线性回归尝试找到自变量和因变量之间的最佳线性关系，即找到一条直线（二维空间）或超平面（多维空间），使得这条直线或超平面能够最好地拟合数据点。

机器学习是一门研究如何使计算机系统在没有明确编程的情况下，从数据中学习和改进性能的学科。数据集（dataset）是机器学习和数据分析中的一个基础概念，它指的是一组被组织成一个整体的数据集合，用于训练模型、评估模型或进行统计分析。数据集的形式多种多样，适应不同类型和用途的数据分析和机器学习任务。常见的数据集有表格、文本、图像、视频、时间序列、音频和地理空间等数据集。

线性判别分析（LDA）基本思想是通过降维将数据投影到一个低维空间，同时最大化不同类别之间的类内距离，最小化同一类别内部的方差，以此来实现数据的有效分类。在单变量情况下，假设我们有一个解释变量 ( x ) 和一个目标变量 ( y )，我们的目标是找到一个线性函数，即一条直线，来描述它们之间的关系。在机器学习中，特征通常表示为数据中的列，可以是数值、分类或其他类型的数据。每个叶节点最终会对应一个类别（分类任务）或一个预测值（回归任务），这个类别或预测值是基于到达该节点的所有样本的统计结果得出的。