数据分析-建模评价

学习内容

1. 模型搭建
2. 模型评估

学习笔记

1、模型搭建
处理后的数据就是建模数据，下一步是选择合适模型。模型选择之前需要知道数据集最终是进行监督学习还是无监督学习。模型的选择一方面是通过我们的任务来决定的，另一方面可以根据数据样本量以及特征的稀疏性来决定，开始尝试使用一个基本的模型来作为其baseline，进而再训练其他模型做对比，最终选择泛化能力或性能比较好的模型。
2、sklearn的算法选择路径

3、模型评估
模型评估是为了知道模型的泛化能力。
交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。在交叉验证中，数据被多次划分，并且需要训练多个模型。
最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。
准确率（precision）度量的是被预测为正例的样本中有多少是真正的正例
召回率（recall）度量的是正类样本中有多少被预测为正类
f-分数是准确率与召回率的调和平均

4、绘制ROC曲线
ROC 曲线（接收者操作特征曲线）是一种显示分类模型在所有分类阈值下的效果的图表。

基础知识

1、Python的seaborn库
整体布局import seaborn as sns

sns.set_style("whitegrid") #横坐标有标线，纵坐标没有标线，背景白色
sns.set_style("darkgrid") #默认，横纵坐标都有标线，组成一个一个格子，背景稍微深色
sns.set_style("dark")#背景稍微深色，没有标线线
sns.set_style("white")#背景白色，没有标线线
sns.set_style("ticks") #xy轴都有非常短的小刻度
sns.despine(offset=30,left=True) #去掉上边和右边的轴线，offset=30表示距离轴线（x轴）的距离,left=True表示左边的轴保留

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
plt.rcParams['figure.figsize'] = (10, 6)  # 设置输出图片大小

结语

第二次参加DW学习，这次作为组长，总体学习效率打70分吧！整个数据分析流程已经初步掌握，还需要更多的实例来增强知识的应用，期待着下一次的DW学习。不断学习，不断进步。