- 博客(8)
- 收藏
- 关注
RSS订阅原创 人工智能概念之五：梯度下降和正规方程求解的区别
本文对比了三种线性回归参数求解方法：直接求导法、正规方程法和梯度下降法。通过两个样本点（x=[1,2], y=[3,5]）的示例，展示了不同方法的求解过程： 直接求导法通过建立并求解方程组，得到参数w=2、b=1； 正规方程法通过矩阵运算（X^T X逆矩阵）获得相同结果； 梯度下降法通过迭代更新参数（学习率0.3）逐步逼近最优解。 分析表明，正规方程是直接求导法的矩阵形式推广，两者本质相同。梯度下降则适用于大规模数据，通过迭代优化求解。三种方法最终都得到与真实模型y=2x+1一致的参数。
2025-06-28 21:30:00
511
原创 人工智能概念之四：常见的正则化手段（用线性回归演示过拟合和正则化、L1正则化、L2正则化、Dropout、批量归一化、早停法、数据增强）
在机器学习中，模型不仅需要在训练数据上表现良好，更重要的是在未知的测试数据上具备泛化能力。然而，当模型复杂度过高时，容易出现过拟合现象——模型过度拟合训练数据中的噪声和细节，导致在新数据上的预测能力下降。正则化（Regularization）是一类通过限制模型复杂度、缓解过拟合现象的技术手段。从广义上讲，任何能够降低模型在训练数据上的过拟合程度、提升泛化能力的方法，都可以被称作正则化。其核心逻辑是通过不同机制约束模型的“表达能力”，避免模型学习到训练数据中的噪声或特定细节，从而迫使模型捕捉更具普适性的模式。
2025-06-28 13:43:51
619
原创 线性回归（Linear regression）算法详解
线性回归是一种通过回归方程建模自变量与因变量线性关系的分析方法。一元线性回归表达式为y=kx+b，多元线性回归为y=w₁x₁+w₂x₂+...+wₙxₙ+b。通过最小化均方误差(MSE)可以找到最佳参数。以房屋面积预测价格为例，当k=2、b=0时，回归曲线完全拟合样本数据(MSE=0)。测试新数据(75,145)时，预测值150与真实值145的误差(MSE=25)揭示了模型的泛化能力。该示例展示了线性回归的基本原理和训练-测试流程，为机器学习模型优化奠定了基础。
2025-06-27 20:52:12
969
原创 人工智能概念之三：常见的损失函数（交叉熵损失、Hinge损失、0-1损失、MSE、MAE、RMSE、最小二乘法、焦点损失、Dice损失、三元组损失）
损失函数是机器学习模型优化的核心工具，通过计算预测值与真实值的差异为参数更新提供方向。分类任务中，交叉熵损失基于信息论原理，量化概率分布差异，其梯度特性直接影响优化效率。二分类交叉熵损失公式为$L = -[y \log\hat{p} + (1-y)\log(1-\hat{p})]$，多分类则扩展为Softmax交叉熵。损失函数图像显示：当预测错误时损失陡增，正确时平缓下降；其导数$\partial L/\partial\hat{p} = \hat{p}-y$直接反映误差大小，与梯度下降配合实现高效参数更新。
2025-06-27 19:21:29
1109
原创 人工智能概念之二：人工智能核心概念（三大核心概念、发展三要素、样本、特征、标签、过拟合、欠拟合、泛化、导数、矩阵、正规方程、梯度下降）
AI 目标是让机器具人类智能，ML 是实现路径（从数据学规律），DL 是 ML 分支（用多层网络处理高维数据），三者呈 AI>ML>DL 层级。发展依赖数据（决定上限）、算法（提取规律）、算力（GPU/TPU 加速）。数据由样本、特征（预测依据）、标签（目标）构成，需划训练 / 测试集防过拟合。特征工程含提取、归一化 / 标准化预处理、降维及交叉 / 多项式组合。模型需平衡复杂度防过拟合 / 欠拟合，通过导数驱动梯度下降或正规方程优化参数。
2025-06-26 22:30:00
770
原创 KNN的搜索算法，如何高效找到 K 个最近邻？（暴力搜索、KD 树、球树、近似最近邻算法）
每次切蛋糕时，先选一个方向（比如横切或竖切），这个方向对应数据的某个特征维度，通常选数据分布最广的维度，比如选蛋糕上水果分布最散的方向切，这样能把样本尽量均匀分开。先找到一群样本的中心（质心），再确定一个合适的半径，让尽量多的样本被这个气球（超球面）装进去。如果新数据离某一块蛋糕很远，比当前找到的第 K 近的距离还远，就不用去翻这块蛋糕了，直接跳过，大大减少了搜索范围。通过计算测试点到超球面的距离（即到质心距离与球半径的差），快速判断是否需要进入子树搜索，对高维数据适应性优于 KD 树。
2025-06-26 11:26:00
1120
原创 KNN （K-Nearest Neighbors，K 最近邻算法）算法详解
KNN算法是一种基于实例的监督学习方法，核心思想是"物以类聚"。该算法通过计算测试样本与训练样本的距离，选取最近的K个邻居进行预测：分类任务采用多数投票法，回归任务使用均值预测法。本文详细介绍了KNN的数学原理和实现步骤，包括距离计算方法（欧氏、曼哈顿距离）、分类和回归的具体示例，以及sklearn中的API使用方式。最后通过鸢尾花数据集的分类案例展示了完整的应用流程，包括数据准备、模型训练、预测和评估。KNN算法简单有效，通过合理的参数调优和特征处理可获得更好的性能。
2025-06-25 21:23:39
717
原创 人工智能概念之一：机器学习基础概念（距离计算方法、归一化和标准化、交叉验证和网格搜索）
本文介绍了机器学习中的关键技术：1）距离计算方法（欧式、曼哈顿、切比雪夫距离），用于衡量样本相似性；2）数据预处理方法（归一化和标准化），分别用于调整数据范围和正态分布；3）交叉验证与网格搜索的结合应用，用于优化模型参数和提高泛化能力。文中还提供了相关Python代码示例，展示如何实现这些技术在实际项目中的应用。这些方法共同构成了机器学习模型开发的重要基础环节。
2025-06-25 20:01:47
875
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人