Nie同学的博客

本博客详细介绍了等度量映射（Isomap）和局部线性嵌入（LLE）两种流形学习方法。Isomap通过保持测地距离近似保持数据流形的局部结构，而LLE旨在保留邻近关系，通过线性组合对数据点进行重构。实验部分使用Python代码演示了Isomap和LLE在降维可视化上的应用，为理解流形学习提供了清晰的示例。

核化线性降维是一种基于核方法的降维技术，适用于处理非线性数据结构。以核主成分分析（KPCA）为例，通过引入核函数，将数据映射到高维特征空间，并利用核矩阵的特征值分解实现降维。本文利用径向基函数核对数据集进行核化PCA，展示了降维后的可视化效果。

本篇博客介绍了主成分分析（PCA）算法，以及其在降维问题中的应用。PCA旨在通过线性变换找到最能代表原始数据的主成分，同时保留数据的重要信息。通过特征值分解，我们推导了PCA的优化目标，并使用重构阈值确定最小降维维度。最后，通过实验分析展示了PCA在一个相关数据集上的降维效果。

低维嵌入（Low-Dimensional Embedding）技术通过降低高维数据的复杂性，实现数据在更低维度空间的映射，用于可视化和数据压缩。本文介绍了低维嵌入在K近邻学习中的应用，通过保持样本间距离关系，提高KNN算法性能。算法利用特征值分解和对角矩阵构建，通过实验验证了该方法在数据集降维过程中的有效性。 MDS算法结果展示了特征值构成的对角矩阵，为数据降维提供了直观的视觉呈现。

K最近邻（KNN）算法是一种基于简单思想的监督学习方法，可用于分类和回归。本实验以密度和糖含量为特征，展示KNN在二分类问题中的应用。通过欧氏距离计算样本相似性，KNN选择最近邻居进行预测。实验结果以散点图和决策边界呈现，验证KNN的分类效果。

本博客基于AGNES算法进行层次聚类，采用豪斯多夫距离度量集合间距离，成功将数据集划分为层次化的聚类结构。通过可视化展示，清晰呈现了聚类结果。

本博客基于密度聚类算法(DBSCAN)，通过定义邻域、核心对象和密度聚类等概念，实现了无监督聚类。通过对密度聚类算法的超参数调优，成功将数据集分为不同簇，可视化展示聚类结果。

本文章介绍了k均值、LVQ和高斯混合聚类。k均值简单高效，LVQ保留拓扑结构，高斯混合适应复杂分布。实验展示了它们在数据集上的应用及优缺点。

Boosting是一种集成学习方法，AdaBoost通过迭代训练弱学习器，调整样本权重和学习率，优化指数损失函数，取得了广泛成功。实验结果表明，在预测人才录取问题上，AdaBoost相较于单一决策树具有更高准确度和泛化性能。

本文深入探讨了贝叶斯分类器的理论基础和实际应用。首先介绍了贝叶斯决策论，以及先验概率和后验概率的概念。通过极大似然估计，我们理解了在统计模型中如何估计参数。然后详细讲解了朴素贝叶斯分类器，阐述了其基于概率和属性条件独立性假设的工作原理。通过实验分析垃圾邮件分类，展示了朴素贝叶斯分类器在实际问题中的表现，以及对模型评估和分析的方法。总体而言，贝叶斯分类器在文本分类等领域有着广泛应用，通过本文的学习，读者能更好地理解和应用这一强大的机器学习算法。

本文深入介绍支持向量机（SVM）原理、核函数和正则化，通过实验比较SVM与线性判别分析（LDA）在非线性可分数据集上的表现。LDA准确度为45%，决策边界欠佳，而SVM准确度达100%，通过核函数在高维空间找到有效决策边界，优于LDA。SVM在处理非线性关系上表现更出色。

该博客深入阐述了BP神经网络的原理、数学模型和应用。从M-P神经元模型到多层前馈神经网络，详细介绍了结构和训练方法。讨论了过拟合问题及缓解策略，通过实验展示了模型构建、训练和评估。综合残差图、Loss和R2 Score等指标，表明该模型在数据拟合和泛化方面表现出色。

该博客总结了决策树在决策制定中的广泛应用。决策树通过树形结构模拟决策过程，在商业、医疗等领域取得显著成果。文章深入探讨了决策树的学习思路、划分选择、剪枝处理等关键概念。实验展示了构建决策树模型的步骤，通过网格搜索选择最优超参数，并对性能进行了详细分析，强调模型在类别"Yes"上的改进空间。

LDA不同于一些无监督降维方法，如主成分分析（PCA），它充分利用了类别信息，通过寻找最佳投影方向，使得不同类别的样本在降维后的空间中有最大的类间距离，同时保持同一类别内的样本尽量接近。LDA的核心思想是在降维的同时最大化类别之间的差异，通过寻找最佳投影方向，使得不同类别的样本在降维后的空间中有最大的类间距离，同时保持同一类别内的样本尽量接近。在这个过程中，LDA通过解决广义特征值问题，找到了最优的投影方向，从而能够将原始高维数据映射到一个维度更低的空间中，同时保留了最重要的类别间信息。

本文深入研究了多元线性回归及其在非满秩矩阵情况下的解决方案。通过介绍模型表达式、最小二乘法，以及广义线性模型，我们全面理解了多元线性回归。在$\mathbf{X^TX}$不是满秩的情况下，讨论了正则化方法如岭回归和套索回归，以有效处理多重共线性问题。此外，文中探讨了对数几率回归作为处理非满秩矩阵的二分类问题的解决方案。详细解释了对数几率回归的模型表达式，并探讨了通过极大似然估计法求解模型参数的方法。整体而言，本文提供了深入学习多元线性回归的基础，为实际数据分析和预测提供了有力支持。

本文深入探讨了一元线性回归的原理及应用。通过最小二乘法和协方差方差的推导，得到了求解斜率和截距的两种方法。利用工人工作年限与薪水的数据集进行实验分析，采用最小二乘法和协方差方差法得到的拟合直线均能有效描述变量间的线性关系。这些方法不仅为建模提供了有力工具，也帮助理解回归分析的基本原理。在实际应用中，可根据具体情况选择适宜的方法进行建模和分析。