WHYbeHERE的博客

对分组数据的交叉验证 方法笔记及代码

Hyperopt帮助用户优化机器学习模型，提高性能。本文将介绍Hyperopt的基本算法、优缺点、使用步骤以及具体的代码案例。

Optuna是一个强大的开源工具，通过优雅的API设计和智能的搜索策略，可以显著提高调参的效率。本文将介绍Optuna的基本概念、使用方法以及与其他调参方式的对比。

K近邻（K-Nearest Neighbor，简称KNN ）算法是利用数据点之间的距离来进行预测的一种监督学习方法。在本文中将以最简单的图文方式、为初学者提供KNN算法的入门指南，原理介绍、应用场景、Python实现代码、使用KNN算法的优点和局限性。

本文介绍 VotingRegressor 和VoteClassifier的工作原理，并使用鸢尾花和糖尿病数据集作为示例，分别展示如何使用投票分类器解决分类/回归任务。

本文介绍 sklearn 中 VoteClassifier的工作原理，并使用鸢尾花数据集作为示例，展示如何通过投票分类器提高整体模型的表现。

本文根据西瓜书总结了一些关键知识点，介绍了集成学习的原理、类型以及结合策略。

主要介绍AIC、BIC的原理，对比其他模型评估方法和信息准则的不同，通过简单的线性回归例子展示AIC、BIC的计算。

介绍信息论的基本概念以及最小描述长度的原理概念。

回归分析案例：使用python的sklearn库对汽车历史价格信息进行回归分析，包括数据预处理、特征相关性分析等步骤，最后利用lasso回归建立价格预测模型。

建立新闻文章分类模型，使用TF-IDF和词袋模型构建特征，基于贝叶斯算法来完成分类任务。

交叉验证是什么？在模型建立中，通常有两个数据集：训练集（train）和测试集（test）。训练集用来训练模型；测试集是完全不参与训练的数据，仅仅用来观测测试效果的数据。一般情况下，训练的结果对于训练集的拟合程度通常还是挺好的，但是在测试集总的表现却可能不行。比如下面的例子：图一的模型是一条线型方程。 可以看到，所有的红点都不在蓝线上，所以导致了错误率很高，这是典型的不拟合的情况图二 的蓝线则更加贴近实际的红点，虽然没有完全重合，但是可以看出模型表示的关系是正确的。图三，所有点都在蓝线上，这时候

- 线性判别分析LDA的基本概念- 代码实例：第一部分使用python详细说明了LDA的计算过程； 第二部分记录了如何使用sklearn完成LDA。

DBSCAN的实例流程笔记。第一部分记录了算法的相关概念，第二部分用简单的例子说明如何用python实现DBSCAN算法。

介绍了聚类算法k-means的实例过程及参数调优笔记。1部分为k-means的建模流程：先构造包含5个中心点的随机训练集数据，并画图展现样本分布情况，最后导入新数据测试；2部分介绍了几个常用参数和调优流程；3、4部分别为评估方法和算法存在的问题。

XGBoost实例笔记，内容为保险赔偿预测模型的建立流程，分为数据探索性分析和建模两大部分。第一部分，记录了解数据特征的各种常用方法手段，第二部分建模过车着重学习如何用XGboost进行建模和调参。

PCA原理解释：PCA降维，即将高维数据降到低维。比如原本特征值有4个，经过PCA方法后，选取前两个最重要的特征，将特征值降到2个。项目解释：在鸢尾花数据集的基础上，使用numpy,pandas简单复盘了PCA降维的过程。PCA详细流程#工具包import numpy as npimport pandas as pd#导入数据df = pd.read_csv('iris.data')df.columns=['sepal_len', 'sepal_wid', 'petal_len', 'p