Warren____的博客

原创 机器学习中如何选择分类与回归算法

分类任务：简单场景用逻辑回归 / 决策树，工业界主流用 XGBoost/LightGBM/CatBoost，复杂数据（图像 / 文本）用 CNN/Transformer。回归任务：简单场景用线性回归 / 多项式回归，工业界主流用 XGBoost/LightGBM/CatBoost，复杂时序 / 图像用 LSTM/CNN/Transformer。核心建议：先从简单模型入手搭建 baseline，再根据数据特点和业务需求，逐步替换为集成算法或深度学习模型，同时重视数据预处理和模型调参。

原创 机器学习中为何会有回归任务和分类任务这两种？

机器学习中回归与分类任务的并存，本质是目标变量的类型差异导致的，对应现实中两类完全不同的预测需求。

原创 机器学习中分类任务评价指标

混淆矩阵TNFPFNTP\text{混淆矩阵} = \begin{bmatrix}TN & FP \\FN & TP混淆矩阵TNFN​FPTP​AccuracyTPTNTPTNFPFNAccuracyTPTNFPFNTPTN​​适用场景：数据分布均衡（正、负类样本数量接近）的通用场景。

原创 GBR模型超参数

梯度提升回归树（GBR）的超参数可分为模型结构类、训练控制类和正则化类，不同超参数对模型效果的影响差异显著，调参需结合业务场景和数据特点进行。

原创 KNN超参数问题

uniform：所有近邻权重相同（默认）；distance：距离越近的近邻权重越大（权重为距离的倒数）。取值的影响：weights=‘uniform’（默认，等权重）：所有近邻的权重相同，预测结果是近邻值的简单平均（回归）或多数投票（分类）。→ 特点：计算简单，但可能忽略 “距离越近的样本越相似” 的规律。例如，一个距离很远的样本和距离很近的样本对预测的影响相同，可能引入偏差。

原创 超参数调参方法

原创 随机森林超参数问题

随机森林中决策树的数量。数量越多，模型稳定性越强（精度可能提升），但计算量呈线性增长。需在 “精度” 和 “时间” 间平衡，默认 100，低配置场景可设 50~100。

原创 决策树预测加州房价超参数

决策树的超参数主要用于控制树的结构和复杂度，核心超参数包括：网格搜索是最常用的超参数调优方法，通过遍历预设的超参数组合，找到交叉检验性能最优的组合。以下是完整代码及解释：