Error:field larger than field limit(131072)解决方法

原创已于 2022-03-08 14:58:06 修改 · 2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python

于 2022-02-28 18:15:30 首次发布

普通人的搬砖日子专栏收录该内容

24 篇文章

订阅专栏

部署运行你感兴趣的模型镜像


import csv 
 
csv.field_size_limit(10000000)

我们直接去csv.field_size_limit底层看看注释

 """
    Sets an upper limit on parsed fields.
        csv.field_size_limit([limit])
    
    Returns old limit. If limit is not given, no new limit is set and
    the old limit is returned
    """

为解析的字段设置上限。

csv.field_size_limit([limit])

返回旧的限制。

如果没有给定limit，则不设置新的限制，返回旧的限制

这是因为csv模块默认了字段限制为131072

提高大小限制即可,自己根据实际设置

您可能感兴趣的与本文相关的镜像

Python3.10

Conda

Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Quentin_nb

关注关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

@ParserError: field larger than field limit (131072)

alston_ethannical的博客

12-23

730

@ParserError: field larger than field limit (131072)

ParserError: Error tokenizing data. C error: EOF inside string starting at row 11020412

weixin_46643128的博客

03-18

9712

这个csv文件的数据（AIS数据，类似于GPS定位数据，字节较多）大概1200多万行，在用jupyter notebook pd.read_csv读取时，总是出现问题提示:ParserError: Error tokenizing data. C error: EOF inside string starting at row 1102412 加了 encoding='utf-8'、 header=None、 delimiter="\t"、error_bad_lines=False、 sep='\t'等等等

参与评论您还未登录，请先登录后发表或查看评论

_csv.Error: field larger than field limit (131072)

AI浩

10-26

2458

import csv csv.field_size_limit(500 * 1024 * 1024)

Python _csv.Error: field larger than field limit (131072)

桃子小迷妹

08-10

456

Python _csv.Error: field larger than field limit (131072)

文件行数不多但报错 csv.Error: field larger than field limit (131072)

12-18

CSV（Comma Separated Values）错误`csv.Error: field larger than field limit (131072)`通常是由于CSV文件中某个字段的内容过长，超过了CSV标准规定的每个字段的最大长度限制，这个默认值是65535个字节（包括列名...

pandas报错raise ParserError(msg) pandas.errors.ParserError: field larger than field limit (131072)

05-19

解决这个问题的方法是在读取文件时增加`low_memory`和`error_bad_lines`参数，例如： ``` import pandas as pd df = pd.read_csv('file.csv', low_memory=False, error_bad_lines=False) ``` 其中，`low_memory=...

raise ParserError(msg) pandas.errors.ParserError: field larger than field limit (131072)分析一下

05-19

为了解决这个问题，可以通过设置 Pandas 的 `max_field_size` 参数来增加字段大小的限制。例如，可以将其设置为更高的值，如 500000，以便能够读取更大的字段： ```python import pandas as pd pd.options.mode....

csv error field larger than field limit 131072

最新发布

05-29

当使用 Python 的 `csv` 模块读取文件时，如果某个字段的长度超过了默认的最大字段大小限制（131,072 字符），则会引发 `_csv.Error: field larger than field limit (131072)` 错误。为了解决这一问题，可以通过...

CSV读取大文件报错_csv.Error: field larger than field limit

Voccoo的博客

01-15

8616

该问题出现在用csv读取文件的时候，出现大字段，导致超过字段默认限制，而无法读取。因此，需要在使用csv读取文件前，先设置下csv字段显示大小。 csv.field_size_limit(500 * 1024 * 1024) for i in range(1, 5): # 21 print('开始读取第%d个' % i) csv_reader = csv...

python报错：PyThone field larger than field limit (131072)

qq_41814556的博客

09-13

3624

处理问题：PyThone field larger than field limit (131072) 文件数据过大，而导致csv无法读取，添加下段代码即可解决 import sys maxInt = sys.maxsize decrement = True while decrement: decrement = False try: csv.field_...

field larger than field limit (131072) 和 ParserError: Expected 337 fields in line 4, saw 1491

weixin_43496455的博客

11-17

1193

Error: field larger than field limit (131072) 当在文本文件中出现非常大的字段时候，就可能出现这个问题：第一种解决方式： import csv csv.field_size_limit(500 * 1024 * 1024) 第二种解决方式： import sys import csv csv.field_size_limit(sys.maxsiz...

python随机生成数字循环_如何在Python中的每次循环中生成唯一的单个随机数？ - python...

weixin_39630880的博客

12-06

1203

我知道有一些类似的问题，但是所有这些都只返回一个列表，我只需要一个数字，每次随机生成一个唯一的数字：现在，我使用Python构建循环：for _ in range(9):random_number=random.randint(1,11)print(random_number)我的问题是如何确保每次random_number是唯一的，而不是全部重复9次。我不需要列表，只需random_number...

PyThone field larger than field limit (131072)

彦文的专栏

06-27

1621

添加以下代码 import sys maxInt = sys.maxsize decrement = True while decrement: decrement = False try: csv.field_size_limit(maxInt) except OverflowError: maxInt...

关于字段大于字段限制的问题