u012958850的博客

在非线性可分的二分类问题中，传统的线性分类器无法有效分隔数据。为了解决这一问题，可以通过坐标变换将数据映射到更高维的空间，使其在该空间中线性可分。具体方法是通过映射函数将原始特征转换到高维空间，并求解相应的优化问题。然而，直接计算高维空间的内积会导致计算复杂度急剧增加。为此，引入了核函数技巧，通过核函数隐式计算高维空间的内积，从而避免显式映射。常用的核函数包括线性核、多项式核和径向基函数（RBF）。通过核函数，可以将优化问题转化为二次规划问题，并利用支持向量机（SVM）模型进行分类。

本文介绍了近似线性可分问题及其在支持向量机（SVM）中的应用。近似线性可分问题指的是在二分问题中，大多数样本点可以通过一个超平面按标签值分隔，但存在少数样本点不满足该条件。为了解决这一问题，SVM引入了松弛变量，构造了一个优化问题，转换为与之等价的对偶形式，并提供了Python代码实现，展示了如何通过求解二次规划问题来训练近似线性可分支持向量机模型。代码中定义了目标函数、约束条件，并通过优化算法求解模型参数，最终得到分类器的超平面系数和截距。

本文介绍了线性可分问题的支持向量机（SVM）模型及其实现。SVM通过寻找一个超平面（分离面）将两类样本点分开，目标是使每个样本点与分离面的距离最大化，从而得到最优的决策面。决策面的系数和截距通过求解一个二次规划问题得到，其中目标函数为最小化权向量的范数，约束条件为样本点与分离面的距离不小于1。支持向量是满足约束条件等号的样本点，它们决定了决策面的位置。文中还提供了Python代码实现，包括目标函数、训练函数和支持向量的计算。

本文介绍了如何将逻辑回归函数改为逻辑函数，并构建逻辑Lasso回归模型。通过Python代码实现，逻辑Lasso回归模型被实现为逻辑回归模型LogicModel的子类，并与Regression联合实现用于预测的逻辑Lasso预测器LLassoRegressor。文章还提供了一个综合案例，使用共享单车问题数据集SeoulBikeData.csv来训练和测试逻辑回归预测器LogicRegressor，并比较了使用LLassoRegressor降维前后的模型性能。结果显示，降维前后测试评估相差无几，但训练效率提高

本文介绍了如何使用逻辑Lasso模型类LogicLassoModel和分类模型类Classification实现逻辑Lasso回归分类器LLassoClassifier，并通过帕金森病数据集展示了其应用。LLassoClassifier结合了逻辑回归和Lasso回归的特性，能够进行特征选择和分类。文章详细描述了数据预处理、模型训练和测试的步骤，并比较了降维前后模型的分类效果。结果显示，虽然降维后测试准确率略有下降，但训练效率有所提高。代码实现和结果分析为读者提供了实际应用的参考。

本文介绍了如何利用Python中的线性Lasso模型类（LineLassoModel）和分类器类（Classification）实现线性Lasso分类器（LassoClassifier）。通过继承这两个类，LassoClassifier类能够处理带有L1正则化的线性分类问题。

线性Lasso回归预测器实现。

用线性回归学习分类的算法。

约束优化问题的拉格朗日因子算法Python实现。

求解约束优化问题的罚函数算法的Python实现。

一般凸二次规划的有效集算法的Python实现。

求解仅含等式约束的二次规的划拉格朗日算法。

求解一般形式线性规划问题的两阶段方法。

线性规划辅助问题最优解的与后处理过程。

标准型线性规划的辅助问题构建。

标准型线性规划的单纯形算法。

线性规划的轴转操作。

线性规划标准化过程。

神经网络分类模型的实现。

神经网络回归模型的实现。

逻辑分类模型的实现。

逻辑回归模型。

回归模型的测试。

无约束优化在监督学习的线性回归模型中的应用。

信赖域算法

BFGS算法

秩1对称拟牛顿算法

牛顿算法

非二次型共轭梯度算法

共轭梯度算法

基本共轭方向算法

自然基转换为正定阵的共轭向量组。

梯度下降搜索算法

解一元方程的数值方法

一元函数搜索算法之二次插值法

一元函数搜索算法之牛顿方法的实现

一元函数二分搜索算法的实现

一元函数搜索算法——黄金分割法

n元函数梯度与Hesse阵的数值计算

一元函数导数的数值计算