AI训练营金融风控—02EDA探索性数据分析打卡

本学习笔记为阿里金融风控训练营的学习内容，学习链接为：AI训练营金融风控-阿里云天池

我的完整笔记为：AI训练营金融风控 — 02 EDA探索性数据分析打卡_天池notebook-阿里云天池

回顾：

AI训练营金融风控—01赛题理解打卡_宇宙高能量者的博客-优快云博客

一、学习知识点概要

比赛地址：零基础入门金融风控-贷款违约预测_学习赛_天池大赛-阿里云天池

• 学习如何对数据集整体概况进行分析，包括数据集的基本情况（缺失值，异常值）
• 学习了解变量间的相互关系、变量与预测值之间的存在关系

二、学习内容

• 数据总体了解：
  • 读取数据集并了解数据集大小，原始特征维度；
  • 通过info熟悉数据类型；
  • 粗略查看数据集中各特征基本统计量；
• 缺失值和唯一值：
  • 查看数据缺失值情况
  • 查看唯一值特征情况
• 深入数据-查看数据类型
  • 类别型数据
  • 数值型数据
    • 离散数值型数据
    • 连续数值型数据
• 数据间相关关系
  • 特征和特征之间关系
  • 特征和目标变量之间关系
• 用pandas_profiling生成数据报告

三、学习问题与解答

1. 读取文件的拓展知识：

• pandas读取数据时相对路径载入报错时，尝试使用os.getcwd()查看当前工作目录。
• TSV与CSV的区别：
  • 从名称上即可知道，TSV是用制表符（Tab,'\t'）作为字段值的分隔符；CSV是用半角逗号（','）作为字段值的分隔符；
  • Python对TSV文件的支持： Python的csv模块准确的讲应该叫做dsv模块，因为它实际上是支持范式的分隔符分隔值文件（DSV，delimiter-separated values）的。 delimiter参数值默认为半角逗号，即默认将被处理文件视为CSV。当delimiter='\t'时，被处理文件就是TSV。
• 读取文件的部分（适用于文件特别大的场景）
  • 通过nrows