qq_44511163的博客

hθxσθTx11e−θTxhθ​xσθTx1e−θTx1​θ\thetaθ为模型参数σz\sigma(z)σz是sigmoid函数。

GD/MB-SGD：基础方法，需手动调参。：加速收敛，减少震荡。：自适应学习率，适合非平稳目标。Adam：综合性能优异，推荐作为默认选择。优化器核心思想适用场景缺点GD全局最优方向小数据集/凸问题计算成本高SGD随机采样加速在线学习震荡严重Momentum惯性加速高曲率区域需调动量系数NAG前瞻性梯度计算复杂损失曲面实现复杂度稍高AdaGrad参数自适应学习率稀疏数据学习率过早衰减滑动窗口自适应非平稳目标对初始化敏感Adam动量+自适应。

线性回归是机器学习中最为基础的模型之一，主要用于解决回归问题，即预测一个连续的数值。其核心思想是构建线性方程，描述自变量（特征）和因变量（目标值）之间的关系。简单来说，若有一个自变量xxx和一个因变量yyyyθ0θ1xyθ0​θ1​x，其中θ0\theta_0θ0​是截距，θ1\theta_1θ1​是斜率，也被称为回归系数。通过这条直线，我们尝试让模型预测值尽可能接近真实值。不同的线性回归模型各有特点，在实际应用中需要根据具体情况选择合适的模型。

在机器学习领域，算法的选择往往决定了模型的成败。需要牢记，这里没有 “最好” 的算法，只有 “最适合” 的算法。不同的应用场景，就像不同的战场，需要匹配不同的算法这把趁手的武器，只有选对工具，才能在机器学习的道路上事半功倍。接下来，我将带你快速掌握经典算法的核心特性，让你从此告别算法选择困难症！

随机森林参数及参数调优

sklearn 逻辑回归（Logistic Regression）详解

模型评价方法

逻辑回归学习