读取csv踩坑

于 2024-10-31 10:40:16 发布
阅读量232 收藏
点赞数 3
CC 4.0 BY-SA版权
文章标签： python 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mmdsl083/article/details/143383380

最近在搞评分卡，发现分别使用xlsx和csv读取数据，出现大坑
使用xlsx格式数据，然后
df[col].value_counts(normalize=True) 查看各种取值的

数值占比
10.7
00.1
未知0.1
有0.1

但是使用df.to_csv之后，得到的新的csv文件
df[col].value_counts(normalize=True) 查看各种取值的

数值占比
10.4
10.3
00.1
未知0.1
有0.1

可以看到1被拆散了

原因：因为df.read_csv（）底层是推理列的取值类型的，要么用户主动指定，要么依靠pd底层自动推理，但是当行数大的时候，如果low_memory = False不开启的话，默认低内存模式，他会随机采样，这样就有可能判断当前列取值为字符串，有可能判断当前列取值为数值

建议
读取csv的时候，强制df.read_csv（‘xx.csv’,low_memory = False）

Pandas常用I/O函数(一):read_csv()函数及全部参数使用方法一文详解+实例代码
master_hunter的博客
06-23 7099
Pandas常用作数据分析工具库以及利用其自带的DataFrame数据类型做一些灵活的数据转换、计算、运算等复杂操作，但都是建立在我们获取数据源的数据之后。因此作为读取数据源信息的接口函数必然拥有其强大且方便的能力，在读取不同类源或是不同类数据时都有其对应的read函数可进行先一步处理，这会减少我们相当大的一部分数据处理操作。每一个read()函数，作为一名数据分析师我个人认为都应该掌握且熟悉它对应的参数，相对应的read()函数博主已有三篇文章详细解读了read_json、read_excel和read_
pandas中的read_csv参数详解
weixin_44852067的博客
01-07 6万+
1.官网语法 pandas.read_csv(filepath_or_buffer, sep=NoDefault.no_default**,** delimiter=None**,** header='infer’, names=NoDefault.no_default**,** index_col=None**,** usecols=None**,** squeeze=False**,** prefix=NoDefault.no_default**,** mangle_dupe_cols=True**,
详解pandas的read_csv函数
python伊甸园的博客
01-17 8957
详解pandas的read_csv函数
c++读取csv文件_pandas读取文件的read_csv()
weixin_39643338的博客
11-23 578
import pandas as pdpd.read_csv(filepath_or_buffer,header,parse_dates,index_col)参数：filepath_or_buffer：字符串，或者任何对象的read()方法。这个字符串可以是URL，有效的URL方案包括http、ftp、s3和文件。可以直接写入"文件名.csv"header：将行号用作列名，且是数据的开头...
基于python的大数据分析-pandas数据读取（代码实战）
weixin_34259559的博客
06-12 1376
我们常见的数据存储格式无非就是csv、excel、txt以及数据库等形式。数据读取在pandas中可以使用一些函数完成数据的读取。比如read_csv、read_excel、read_table、read_sql等，这些分别是啥意思呢。。。。自己看后缀就能明白啦~下面我们就通过撸代码来了解它们txt文件格式：read_table(文件路径与文件名, names=[列名1，列名...
【Pandas】pandas.read_csv 详解与实战应用：从CSV文件中读取数据
科技改变人类，技术成就未来
08-01 2534
在数据分析与科学中，CSV（Comma-Separated Values，逗号分隔值）是最常见的数据存储格式之一。Pandas 提供了强大的 read_csv 函数来读取 CSV 文件并将其转换为 DataFrame。这篇博客将详细讲解 read_csv 方法，包括其作用、使用方法、参数详解、示例代码以及注意事项。
Python 读取数据（Pandas读取CSV, python读取jpg图片的踩坑经验）
qq_41025410的博客
05-11 1468
读取jpg图片 读取jpg图片的时候，python的路径会变化 ‘./dataset/data\18999.jpg’ == 注意：最后的是 \而不是 /== pandas读取csv的绝对路径和相对路径 绝对路径： Path_csv ="C:\\Users\\lenovo\\Desktop\\usyd\\train.csv" train_df2 =pd.read_csv(Path_csv) 相对路径： ./代表当前文件夹 train_df2 =pd.read_csv('./train.csv') pand
JS 读取并解析csv文件 —— 前端踩坑13
qq_34548699的博客
04-23 1万+
<!doctype html> <html> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="initial-scale=1.0...
jmeter单线程读取csv_微信小程序性能测试之jmeter踩坑记录（一）
weixin_39622568的博客
12-22 1327
接上篇，简单说说性能测试关注的性能指标，高手请飘过。。。一，响应时间可大致划分为呈现时间和服务端响应时间，真正用户感受到的响应时间是这两者之和，呈现时间：前端构成页面所需的时间(前端响应时间)，服务端响应时间：前端从请求发出开始到客户端收到响应所消耗的时间(服务器端响应时间)。二，并发用户从业务角度来看：指的是同一时间段内访问系统的用户数量，从服务端承受的压力出发：指得是同时向客服端发出请求的客户...
JMeter，将响应结果保存至csv文件，并读取csv文件
Moonlight的博客
11-15 7187
在做性能测试的时候，可能会需用将响应数据中的某些字段提取出来，以供下一接口作为入参；​ 一、将响应结果中的字段提取，并保存至CSV文件【分为2个步骤】 1）将响应结果中的字段提取 json提取：https://blog.youkuaiyun.com/Moonlight_16/article/details/119797715 正则提取：https://blog.youkuaiyun.com/Moonlight_16/article/details/122253904
Python_pandas读取数据踩坑记录
Ryarm的博客
06-22 1850
以下是我在清洗数据时，在读取数据这一最初步骤上踩到的坑。 1.CSV文件编码报错 import pandas as pd RawData = pd.read_csv('C:/Users/me/Desktop/test.csv') 报错内容如：UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xae in position 38: illegal...
Pandas文件处理大揭秘：read_csv、to_csv参数详解与实战指南
一键难忘的博客
02-16 6636
Pandas是一个强大的数据分析工具，广泛应用于数据清洗、处理和分析。在数据处理的过程中，经常需要读取和写入文本文件，如txt和csv。本文将介绍Pandas中的`read_csv`和`to_csv`函数，详细解释其参数，并提供实例演示。
详解pandas的read_csv方法
lhwjgs123456789的博客
02-12 3万+
楔子 使用pandas做数据处理的第一步就是读取数据，数据源可以来自于各种地方，csv文件便是其中之一。而读取csv文件，pandas也提供了非常强力的支持，参数有四五十个。这些参数中，有的很容易被忽略，但是在实际工作中却用处很大。比如： 文件读取时设置某些列为时间类型 导入文件, 含有重复列 过滤某些列 每次迭代指定的行数 值替换 pandas在读取csv文件是通过read_csv这个函数读取的，下面就来看看这个函数都支持哪些不同的参数，看看它们都生得一副什么模样，是三头六臂，还是烈焰红唇。
详解python中的pandas.read_csv()函数
努力才是唯一的入场券。
06-10 2万+
详解python中的pandas.read_csv()函数
数据分析学习——pandas库应用：to_csv和read_csv
Foools的博客
09-08 2098
文章目录前言一、pandas![在这里插入图片描述](https://img-blog.csdnimg.cn/20200908100428852.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0Zvb29scw==,size_16,color_FFFFFF,t_70#pic_center)二、使用步骤1.引入库2.读入数据总结 前言 这个东西其实很
pandas.read_csv 详细介绍
勤学如春起之苗，不见其增，日有所长！ 辍学如磨刀之石，不见其损，日有所亏！
05-07 3353
pandas.read_csv 详细介绍 《Pandas 教程》 修订中，可作为 Pandas 入门进阶课程、Pandas 中文手册、用法大全，配有案例讲解和速查手册。提供建议、纠错、催更等加作者微信: sinbam 和关注公众号「盖若」ID: gairuo。查看更新日志。 pandas.read_csv 接口用于读取 CSV 格式数据文件，由于它使用非常频繁，功能强大参数众多，所以在这里专门做详细介绍， 我们在使用过程中可以查阅。 读 Excel 文件等方法会有很多相同的参数，用法基本一致。 语法 它的语
python用pd.read_csv()方法来读取csv文件
weixin_41855010的博客
02-12 6万+
csv文件是一种用,和换行符区分数据记录和字段的一种文件结构，可以用excel表格编辑，也可以用记事本编辑，是一种类excel的数据存储文件，也可以看成是一种数据库。pandas提供了pd.read_csv()方法可以读取其中的数据并且转换成DataFrame数据帧。python的强大之处就在于他可以把不同的数据库类型，比如txt/csv/.xls/.sql转换成统一的DataFrame格式然后进...
pd.read_csv()详解（理解20%满足80%应用场景）
热门推荐
漫步量化
01-09 7万+
官方文档 pandas.read_csv(filepath_or_buffer, sep=', ', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_cols=True, dtype=None, engine=None,...
matlab怎么读取txt数据
最新发布
03-22
<think>好的，我现在需要帮助用户解决如何用MATLAB读取TXT文件数据的问题。首先，我得回忆一下用户提供的引用资料，里面有四个引用链接，提到了不同的方法，比如textread函数、load函数，还有数据可视化的步骤。用户想要具体的方法和示例，所以我应该把这些方法整理清楚，分步骤说明。 首先，我应该确定用户可能的TXT文件格式。比如，是否有表头、数据分隔符是什么、是否包含文本和数字混合的情况。不同的情况可能需要不同的函数来处理。引用中提到的方法包括textread、load、importdata和readtable，这些都是常用的函数，各有优缺点。 接下来，我需要按照用户的要求，结构清晰地分步骤讲解每个方法，并给出示例代码。比如，对于纯数值数据，load函数最简单；对于混合数据或有分隔符的情况，textread或importdata可能更合适；而表格形式的数据可以用readtable，这样方便后续处理。 然后，用户可能需要数据读取后的处理，比如可视化，所以引用中的可视化指南也需要提及，比如绘制折线图或散点图，这样能帮助用户全面了解流程。 另外，注意事项也很重要，比如文件路径的正确性、分隔符匹配、缺失值处理等，这些常见问题用户可能会遇到，提前指出可以避免他们踩坑。 最后，生成的相关问题需要基于用户的潜在需求，比如性能优化、异常处理、大数据读取等，这些都是用户在实际应用中可能遇到的问题，提供这些问题可以帮助他们进一步探索。 确保所有数学公式和代码块符合格式要求，行内公式用$...$，独立公式用$$...$$，虽然这个问题可能涉及较少的数学公式，但如果有的话要正确应用。同时，引用标识要自然地添加在引用内容的末尾，比如引用[^1]、[^2]等。 现在需要把这些思路整理成结构化的回答，分步骤说明每种方法，给出代码示例，并补充注意事项和相关问题。确保语言简洁明了，符合中文表达习惯，避免技术术语过于复杂，让用户容易理解。</think>### MATLAB读取TXT文件数据的方法与示例 #### 一、基础方法概述 MATLAB提供了多种读取TXT文件的函数，具体选择取决于**数据格式**和**内容复杂度**。以下是四种常用方法及其适用场景： 1. **纯数值数据** 使用`load`函数直接加载，要求数据为**无表头、无文本、列数一致**的纯数值文件。 ```matlab data = load('data.txt'); % 直接生成数值矩阵 ``` 2. **带分隔符的混合数据** 使用`textread`（旧版）或`textscan`（推荐）函数，支持**自定义分隔符**和**多数据类型读取**。例如读取包含字符串和数值的数据： ```matlab [name, age, score] = textread('students.txt', '%s %d %f', 'headerlines', 1); ``` 3. **含表头的结构化数据** 使用`importdata`函数自动识别表头，返回包含**数据矩阵**和**文本头信息**的结构体： ```matlab result = importdata('data_with_header.txt'); data = result.data; % 提取数值部分 ``` 4. **表格形式数据** 使用`readtable`函数生成表格对象，支持**列名自动识别**和**数据筛选**： ```matlab tbl = readtable('data.csv', 'Delimiter', ','); % 兼容CSV格式 ``` #### 二、分步操作示例 **场景：读取包含温度与湿度记录的TXT文件（含表头，空格分隔）** ```plaintext Time(h) Temperature(C) Humidity(%) 0 25.3 60 1 26.1 58 2 24.8 62 ``` 1. **方法1：`importdata`函数** ```matlab data_struct = importdata('sensor_data.txt'); time = data_struct.data(:,1); temp = data_struct.data(:,2); humi = data_struct.data(:,3); ``` 2. **方法2：`readtable`函数** ```matlab tbl = readtable('sensor_data.txt', 'Delimiter', ' '); plot(tbl.Time_h, tbl.Temperature_C); % 直接调用列名绘图 ``` #### 三、数据可视化（引用[^2]） 读取后可通过MATLAB绘图函数进行可视化分析： ```matlab % 绘制温湿度变化曲线 subplot(2,1,1) plot(time, temp, 'r-o') title('温度变化曲线') subplot(2,1,2) plot(time, humi, 'b--*') title('湿度变化曲线') ``` ![示例图：温湿度变化曲线](https://via.placeholder.com/400x300) *模拟示意图* #### 四、注意事项 1. **文件路径** 若文件不在当前工作目录，需使用**绝对路径**，例如：`'C:\data\file.txt'` 2. **缺失值处理** 使用`textscan`时可通过`'TreatAsEmpty'`参数标记缺失值： ```matlab C = textscan(fid, '%f %f', 'TreatAsEmpty', {'NA','-'}); ``` 3. **大数据优化** 超过GB级的数据建议使用`datastore`函数分块读取[^4]： ```matlab ds = datastore('largefile.txt'); while hasdata(ds) chunk = read(ds); % 分块处理逻辑 end ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值