python pandas编程知识点20240104

最新推荐文章于 2025-05-07 13:31:33 发布

阿君聊风控

最新推荐文章于 2025-05-07 13:31:33 发布

阅读量552

点赞数 8

分类专栏： python基础文章标签： python pandas 开发语言

本文链接：https://blog.youkuaiyun.com/u010569893/article/details/135357867

版权

本文介绍了如何使用Python的Pandas库进行数据预处理，包括读取CSV文件、打散数据、字段操作、TF-IDF和逻辑回归模型训练，以及iloc和loc在数据索引中的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

涉及python pandas(pd)的知识点：

1、读取输入文件，并转化为pd dataframe

# 读取输入文件，并根据分割符划分字段， 并指定字段名
import pandas as pd
data = pd.read_csv('train.csv', sep = "\t", names=['label', 'msg'])

# 查看输入的数据
print(data.shape)
print(data.head(10))

2、将训练样本打散

#对数据进行随机打乱
data = data.sample(frac=1, random_state=42)

3、对字段进行转化

data['msg'] = data['msg'].apply(lambda x: ' '.join(x))

4、查看样本label的分布

print(data['label'].value_counts())

5、将样本根据比例切分成训练集和测试集

from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = \
    train_test_split(data['msg'],
                     data['label'],