Argument list too long错误

最新推荐文章于 2025-03-20 12:47:00 发布
转载 最新推荐文章于 2025-03-20 12:47:00 发布 · 1.9k 阅读 · 0
文章标签：

#list #shell

本文介绍了在删除大量文件时遇到的Argumentlisttoolong错误及其解决办法。通过使用find命令结合exec选项或ls配合xargs命令来绕过shell参数长度限制，实现高效批量删除。

原贴:http://www.zhangjianfeng.com/?p=358

Argument list too long错误

删除文件时,报"-bash: /bin/rm: Argument list too long"错误.查了一下,
[root@srv1 mqueue]# ls -l |wc -l
 319913
应该是文件数量太大了吧,记得应该是shell的限制,rm mv cp都受此限制。
解决方法:find所有文件,然后送给rm删除.
find /var/spool/mqueue -type f -exec rm {} /;

<script src="http://pagead2.googlesyndication.com/pagead/show_ads.js" type="text/javascript"> </script> name="google_ads_frame" marginwidth="0" marginheight="0" src="http://pagead2.googlesyndication.com/cpa/ads?client=ca-pub-9932809095109167&cpa_choice=CAEaCG25ta-KCIutUBJQBVAtUAdQQ1AvUEdQAw&oe=utf-8&dt=1190277355781&lmt=1190277355&format=468x60_as&output=html&correlator=1190277355765&channel=9299699904&url=http%3A%2F%2Fwww.zhangjianfeng.com%2F%3Fp%3D358&region=_google_cpa_region_&ref=http%3A%2F%2Fwww.google.cn%2Fsearch%3Fcomplete%3D1%26hl%3Dzh-CN%26ie%3DGB2312%26q%3Dlinux%2Brm%2Bargument%2Btoo%2Blong%26btnG%3DGoogle%2B%25CB%25D1%25CB%25F7%26meta%3D%26aq%3Dnull&cc=100&ga_vid=636176395.1190277356&ga_sid=1190277356&ga_hid=2072357979&flash=9&u_h=1024&u_w=1280&u_ah=904&u_aw=1280&u_cd=32&u_tz=480&u_java=true" frameborder="0" width="468" scrolling="no" height="60" allowtransparency="allowtransparency">
##最后修改日期, Thursday, October 12th, 2006 2:30 pm##  

 

2007年09月

以root身份进入/var/spool/clientmqueue/
执行：
ls|xargs rm -f 就能全部删除了
这样效率比较高

Linux遇到“Argument list too long”
qq_44722189的博客
08-11 1628
在Linux中使用cp, mv, rm, zip等命令时有时会遇到“Argument list too long”的错误，主要是要进行操作的文件过多导致的。是给其他命令传递参数的一个过滤器，也是组合多个命令的一个工具。为结尾，由于各个系统中分号的意义不同，因此用。是指在指定文件夹下查找指定名称的文件。参数后面是指执行其后面的命令，
Linux下Argument list too long错误的解决方法
IT成长日记的博客
03-27 2039
处理Argument list too long错误的核心思路是避免一次性传递过多参数给命令。find+exec是最可靠的方法，而xargs和for循环也各有适用场景。这个错误让许多Linux用户感到困惑，特别是当目录中包含成千上万文件时。本文将分析这个问题的原因，并提供常见的解决方案。，可以使用-print或ls先查看匹配结果，避免误删重要文件。建立文件管理规范：按日期/项目分类存储文件。特别地，在执行大规模删除操作前，定期清理：避免让文件无限制积累。使用更具体的匹配模式：如。
Linux中“Argument list too long”解决方法
SnailTyan
11-23 1万+
Linux中“Argument list too long”解决方法
Linux下通过rm -f删除大量文件时提示"-bash: /bin/rm: Argument list too long"的解决方法...
wuling129的专栏
12-11 1215
Linux下通过rm -f删除大量文件时提示"-bash: /bin/rm: Argument list too long"的解决方法 Linux下通过rm -f删除/var/spool/postfix/maildrop/中大量的小文件时提示: "-bash: /bin/rm: Argument list too long" 如图: 通过ls /var/spool/postf...
make execvp /bin/bash argument list too long
baidu_35289599的博客
06-13 4294
相信大家在编译Android或者其他的代码时候偶尔会遇到这个问题； 临时解决方法：$env - PATH=$PATH USER=$USER HOME=$HOME make xx -j8永久解决就需要改头文件编译内核了，比较麻烦；应该是/usr/include/limit.h里面；没试过。
bash: /usr/bin/mv: Argument list too long
NLP算法工程师，主要研究人机对话系统、机器翻译算法，文本生成、大模型等算法研究
08-14 472
【代码】bash: /usr/bin/mv: Argument list too long。
编译Android时出现make: execvp: /bin/bash: Argument list too long错误
飞鸿惊雪
09-12 6068
http://web.nchu.edu.tw/~jlu/cyut/android/build21.shtml http://hi.baidu.com/pxdhkeiuajbglpd/item/ff2347e559a006f82a09a4b8 上述方法实际上是把Android.mk重写了，分别链接成几个子lib，然后在合并为一个整体的lib！
服务器——报错解决：移动文件时，bash: /usr/bin/mv: Argument list too long
Williamcsj的博客
03-20 969
需要移动的文件数量太多。
-bash: /usr/bin/mv: 参数列表过长
Arthashit的博客
11-25 1385
-bash: /usr/bin/mv: 参数列表过长
解决-bash: /usr/bin/mv: Argument list too long
athrunsunny的博客
12-29 2900
最近搞了个几百万张的图像数据到服务器上，使用mv移动数据时出现了"-bash: /usr/bin/mv: Argument list too long"的错误。命令，可以避免命令行参数列表太长的问题。命令，并将它们移动到目标文件夹中。命令将这些文件路径作为参数传递给。命令来查找源文件夹下所有后缀为。替换为实际的目标文件夹路径。的文件，并将它们的路径传递给。替换为实际的源文件夹路径，
Argument list too long从何而来
国产开源 GUI 引擎 AWTK
01-15 4698
转载时请注明出处和作者联系方式文章出处：http://www.limodev.cn/blog作者联系方式：李先静 这两天在Android eclair版本上增加WML浏览功能，以前在cupcake版本(broncho a1)上实现过，技术上倒是没有什么难题，但编译时总是出现Argument list too long的错误。WebKit里源文件太多，没有WML时还可以编译过去，但加
【mv命令】使用mv命令移动文件提示-bash: /usr/bin/mv: 参数列表过长 -bash: /bin/mv: Argument list too long
讨厌的笑着哭
11-14 1952
linux mv命令 移动文件 参数列表过长 查看文件数量
bash: /bin/mv: Argument list too long
tyler的博客
04-20 629
参考自https://tecadmin.net/mv-argument-list-too-long/ find sourcePath -name '*.txt' -exec mv {} targetPath/ \; find sourcePath -name '*.txt' | xargs mv --target-directory=/path/to/dest_dir/
SSH登陆到Linux一直报错Argument list too long
owlhhh的博客
10-08 959
SSH登陆到Linux一直报错Argument list too long /usr/bin/tty: Argument list too long 原因： /etc/profile文件末尾多加了一行source /etc/profile 解决办法： 用XFTP连接修改/etc/profile文件
【Linux】【编译相关】execvp: /bin/sh: Argument list too long问题处理小结
一介草民，只为生活。
04-08 2万+
问题背景 execvp: /bin/sh: Argument list too long问题出现的两种情况： 1、make的时候，如编译Linux内核、驱动、Android版本等较多文件的情况； 2、shell操作，涉及较多文件的情况，如删除大量文件时，直接用rm； 问题原因 execvp原型： int execvp(const char *file, char *const argv[]); [qxhgd@localhost]getconf ARG_MAX 8192 [qxhgd@localhos
聊聊 Linux Argument list too long 问题的N种解法
热门推荐
一得同学
05-11 2万+
删除数百万文件的各种姿势，争取一篇给你讲全了！
linux 参数传递出错,Linux常见系统故障：“Argument list too long”错误与解决方法
weixin_39611208的博客
05-12 1092
原标题：Linux常见系统故障：“Argument list too long”错误与解决方法作为一名 运维 人员，对这个错误并不陌生，在执行rm、cp、mv等命令时，如果要操作的文件数很多，可能会使用通配符批量处理大量文件，这时就可能会出现“Argument list too long”这个问题。1、错误现象这是一台 MySQL，在系统中运行了很多定时任务，某天通过如下crontab命令又添加了...
Linux系统执行Python 脚本调sql脚本报错argument list too long错误如何解决
最新发布
07-29
<think>我们正在处理一个Linux环境下执行Python脚本调用SQL脚本时出现的“argument list too long”错误。这个错误通常发生在命令行参数过长时，Linux系统对命令行参数的长度有限制。 根据引用[1]的内容，我们有一个脚本示例，其中使用了Python和数据库操作。虽然引用[1]没有直接展示调用SQL脚本，但我们可以借鉴其处理方式。 错误原因： 在Linux中，当执行一个命令时，传递给命令的参数（包括环境变量）的总大小超过了系统限制（通常由`ARG_MAX`决定），就会引发“argument list too long”错误。在调用SQL脚本时，如果SQL脚本非常大或者包含大量的参数，就可能出现这个问题。 解决方案： 1. 检查并优化参数：减少传递给命令的参数数量或长度。 2. 使用文件传递参数：将参数写入文件，然后通过文件读取参数，而不是直接通过命令行传递。 3. 使用管道或重定向：将数据通过管道传递给命令，而不是作为参数传递。 4. 调整系统参数：增大`ARG_MAX`限制，但这需要系统权限，且不推荐，因为可能影响系统稳定性。 具体到我们的场景：Python脚本调用SQL脚本。假设我们使用类似以下的方式调用： subprocess.call(['sqlite3', 'database.db', '<', 'large_script.sql']) 或者 subprocess.call(['mysql', '-u', 'user', '-p', 'dbname', '<', 'large_script.sql']) 但是，如果SQL脚本文件非常大，或者我们在命令行中传递了大量的参数（比如大量的INSERT语句作为参数），就会导致问题。 我们可以考虑以下方法： 方法1：使用重定向（输入重定向）来传递SQL脚本文件 在命令行中，我们通常用`<`将文件重定向到命令的标准输入。但是注意，在subprocess模块中，我们不能直接使用shell的重定向符号，除非设置`shell=True`（不推荐，因为安全风险）。我们可以使用以下方式： ```python with open('large_script.sql', 'r') as sql_file: subprocess.call(['mysql', '-u', 'user', '-p', 'dbname'], stdin=sql_file) ``` 这样，SQL脚本通过文件句柄传递给子进程的标准输入，避免了命令行参数过长。 方法2：将SQL命令拆分成多个小文件，分批执行。 方法3：如果是因为SQL脚本本身过大，考虑优化SQL脚本，比如使用LOAD DATA INFILE（在MySQL中）代替大量的INSERT语句。 方法4：使用其他方式传递数据，例如如果数据是从Python生成，可以考虑使用管道将数据传递给数据库命令行工具，逐行处理或批量处理。 示例代码（使用Python生成数据并导入到MySQL，避免一次性传递大量数据）： 如果数据是由Python生成的，我们可以边生成边通过管道传递给mysql命令： ```python import subprocess # 启动mysql进程，并打开管道到其标准输入 mysql_process = subprocess.Popen(['mysql', '-u', 'user', '-p', 'dbname'], stdin=subprocess.PIPE) # 生成SQL语句并写入管道 for i in range(large_number): # 生成一条SQL语句，注意要符合MySQL的语法 sql_line = f"INSERT INTO table VALUES ({i}, 'data');\n" mysql_process.stdin.write(sql_line.encode()) # 关闭管道，等待完成 mysql_process.stdin.close() mysql_process.wait() ``` 但注意，这种方法如果数据量极大，可能会占用较多内存，建议分批次写入（比如每1000条提交一次）。 另外，如果使用SQLite，也有类似的批量操作方式。 方法5：使用数据库API的批量操作功能，而不是通过命令行工具。例如，使用Python的MySQLdb或sqlite3模块，直接连接数据库，然后执行SQL语句，这样就不会有命令行参数限制的问题。 例如，使用sqlite3模块： ```python import sqlite3 conn = sqlite3.connect('database.db') cursor = conn.cursor() with open('large_script.sql', 'r') as f: # 注意：如果文件很大，可以分块读取执行，或者使用executescript（如果脚本包含多条语句） cursor.executescript(f.read()) conn.commit() ``` 或者逐行执行： ```python with open('large_script.sql', 'r') as f: for line in f: # 忽略空行和注释 if line.strip() and not line.strip().startswith('--'): cursor.execute(line) conn.commit() ``` 使用这种方法，我们完全避开了命令行参数长度的限制。 总结：推荐使用数据库API直接操作数据库（方法5）或者使用标准输入重定向（方法1）来避免“argument list too long”错误。 注意：如果使用标准输入重定向，确保SQL脚本文件不会过大导致内存不足。如果文件非常大，建议使用数据库API并分块处理。 相关问题： 1. 如何查看Linux系统的ARG_MAX限制？ 2. 在Python中，使用subprocess模块时，如何安全地传递大量数据给子进程？ 3. 使用Python的数据库API（如sqlite3）执行大型SQL脚本时，如何优化内存使用？</think>### Linux执行Python脚本调用SQL脚本时出现"argument list too long"错误的解决方案 当在Linux系统中执行Python脚本调用SQL脚本时出现"argument list too long"错误，这通常是由于命令行参数或环境变量总大小超过系统限制造成的。Linux内核默认限制为$2MB$（可通过`getconf ARG_MAX`查看）。以下是逐步解决方案： #### 1. **使用输入重定向替代命令行参数**（推荐） 将SQL脚本内容通过标准输入传递，避免作为命令行参数： ```python import subprocess # 原始问题代码（可能导致错误） # subprocess.call(["mysql", "-u", "user", "-p", "dbname", "<", "large.sql"]) # 修正方案：使用文件句柄重定向 with open("large.sql", "r") as sql_file: subprocess.call( ["mysql", "-u", "user", "-p", "dbname"], stdin=sql_file # 通过标准输入传递SQL内容 ) ``` #### 2. **分批执行SQL语句** 对于巨型SQL文件，分割后分批执行： ```python import sqlite3 CHUNK_SIZE = 1000 # 每批执行的语句数 conn = sqlite3.connect("database.db") cursor = conn.cursor() with open("large.sql") as f: statements = [] for line in f: if line.strip().endswith(";"): statements.append(line) if len(statements) >= CHUNK_SIZE: cursor.execute("".join(statements)) statements = [] if statements: cursor.execute("".join(statements)) conn.commit() ``` #### 3. **使用数据库API直接执行** 完全避免命令行调用，改用Python数据库接口： ```python import MySQLdb # 或 import sqlite3 conn = MySQLdb.connect(host="localhost", user="user", password="pass", db="dbname") with open("large.sql") as f: sql = f.read() # 自动分批执行 for statement in sql.split(";"): if statement.strip(): conn.cursor().execute(statement) conn.commit() ``` #### 4. **临时提高系统限制（需root权限）** 临时调整内核参数（重启后失效）： ```bash # 查看当前限制 $ getconf ARG_MAX # 临时提高限制（例如设为4MB） $ sudo sysctl -w kernel.arg_max=4194304 ``` #### 5. **优化SQL脚本结构** 减少SQL语句冗余： - 用`INSERT INTO ... VALUES (...), (...), ...`代替多个单行INSERT - 使用`LOAD DATA INFILE`(MySQL)或`.import`(SQLite)直接导入CSV - 删除不必要的空格和注释 > **关键原因**：当Python通过`subprocess`调用外部命令时，整个命令（包括参数和环境变量）必须符合Linux内核的`ARG_MAX`限制。直接使用数据库API可彻底规避此限制[^1]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值