winnertakeall的博客

线性回归：给定训练数据，，其中，回归学习一个从输入x到输出y的映射f，对新的测试数据x,用学习到的映射对其进行预测：可以采用均方误差和r2_score对模型性能进行评估，均方误差是越小越好，r2_score是越大越好。MSE(均方差，方差)：mean squared error该统计参数是预测数据和原始数据对应点误差的平方和的均值RMSE（均方根）    Root mean squared err...

k-means是针对无监督聚类问题。无监督：只有特征值，没有目标值。聚类：把相似的东西分到一组k-means，要得到簇的个数，需要指定K值。质心：各个维度的平均值。距离的度量：欧氏距离和余弦相识度(前提是标准化）其优化的方式是是的各个簇上的点到中心点的距离之和最小...

决策树：从根节点开始一步步走到叶子节点（决策），既可以做分类也可以做回归。树有以下几部分组成：根节点：第一个选择点非叶子节点与分支：中间过程叶子节点：最终的决策结果决策树特征的切分通过一种衡量标准，来计算通过不同特征进行分支选择后的分类情况，找出来最好的那个当成根节点。衡量标准-熵熵：熵是表示随机变量不确定性的度量（解释：说白了就是物体内部的混乱程度，比如杂...

线性回归的评价指标：RMSEMAER2_score  R2_score越大越好，比如完全拟合，预测值和真实值一样，其残差就为0，则R的平方就为1。 Logistic 回归log_lossneg_logloss越大越好。 ...

根据目标函数用泰勒展开式进行展开   

直接调用XGBoost–import xgboost as xgb与scikit-learn一起使用– from xgboost import XGBClassifier其使用的步骤：     • 1. 构造学习器实例         – 模型参数在构造时传递     • 2. 模型训练：fit/GridSearchCV     • 3. 预测• xgboost.XGBC...