动手实践：数据分析入门-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_49603243/article/details/117913686

本文介绍了数据分析的基本概念，包括数据加载、探索性数据分析，以及pandas库的基础使用。通过实例展示了如何使用相对和绝对路径加载数据，理解数据的筛选和观察方法。此外，还讨论了DataFrame的结构，并提供了数据处理和筛选的技巧，如删除多余列、按条件选择数据等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习任务：
在这里插入图片描述

task1数据加载及探索性数据分析

什么是数据分析？
用恰当的统计分析方法对收集来的大量数据进行分析，将他们加以汇总，理解并消化，以求最大化地发挥数据的作用。
数据挖掘是一种高级的数据分析方法，从大量的数据中挖掘出有用的信息，主要侧重于解决四类分析问题：分类，聚类，关联，预测。

1.数据加载

1.1相关概念：
绝对路径是文件的真正存在的路径，是指从硬盘的根目录(盘符)开始，一级级目录指向文件。
相对路径是以当前文件为基准，一级级目录指向被引用的资源文件。

举个小栗子
(1) 使用相对路径载入数据

df = pd.read_csv('train.csv')

(2) 使用绝对路径载入数据

df = pd.read_csv(r"C:\Users\DELL\Desktop\hands-on-data-analysis-master\第一单元项目集合\train.csv")

ps：这里按照教程时报错了。
无脑复制教程

df = pd.read_csv('/Users/chenandong/Documents/datawhale数据分析每个人题目设计/招募阶段/第一单元项目集合/train.csv')

在文件路径无误的情况下报错FileNotFoundError。
此处应该是系统的问题。在Windows系统中，文件路径是由符号\来表示的，而在Linux中是由符号/来表示。如果代码需要在不同的系统上运行，需要注意修改。
使用r"C:\User\Desktop"或C:\User\Desktop的字符串，同时避免python对字符串的转义。问题解决。

教程思考题：
【提示】相对路径载入报错时，尝试使用os.getcwd()查看当前工作目录。

import os
os.getcwd()

【思考】知道数据加载的方法后，试试pd.read_csv()和pd.read_table()的不同，如果想让他们效果一样，需要怎么做？了解一下’.tsv’和’.csv’的不同，如何加载这两个数据集？

pd.read_csv() 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号
pd.read_table() 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符“\t”

如果希望他们效果一样，可以指定分隔符。

pd.read_table('', sep=',')

tsv文件和csv的文件的区别是：前者使用\t作为分隔符，后者使用,作为分隔符。

pd.read_csv('test.tsv', sep='\t')

在这里插入图片描述

1.2什么是逐块读取？为什么要逐块读取呢？
处理大文件时，只需要读取文件的一小部分或逐块对文件进行迭代。当数据集太大时，通过逐块读取数据可以加快文件读取的速度。

#每1000行为一个数据模块，逐块读取
chunker = pd.read_csv('train.csv',chunksize=1000)

【提示】大家可以chunker(数据块)是什么类型？用for循环打印出来出处具体的样子是什么？

chunker = pd.read_csv('train.csv',chunksize=1000)
for chunker in df:
    print(chunker)

查看chunker的类型：

print(type(chunker))

结果如下：
在这里插入图片描述
for循环打印：

chunker = pd.read_csv('train.csv', chunksize=1000)
for chunker in df:
    print(chunker)

在这里插入图片描述
1.3将表头修改成中文

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()