titan-hadoop “Too many open files”修正

最新推荐文章于 2023-12-11 07:43:37 发布
转载 最新推荐文章于 2023-12-11 07:43:37 发布 · 195 阅读 · 0
文章标签：

#大数据

本文介绍了解决CentOS 5.7环境下Titan-0.5.0-Hadoop2进行图遍历过程中遇到的too many open files错误的方法。通过调整系统最大打开文件数限制，成功解决了该问题。
环境: CentOS 5.7,  Titan-0.5.0-Hadoop2


在titan-hadoop启动gremlin.sh运行图遍历时经常出现"too many open files"的报错， 发现最终的问题超出系统最大的打工的文件数据。

解决如下：

查询系统设置
ulimit -n
默认是1024

修改参数:

sudo vi /etc/security/limits.conf

增加或修改这两项即可 ，然后重启系统

* soft nofile 8192
* hard nofile 8192

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/16582684/viewspace-1283428/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/16582684/viewspace-1283428/

csdn666666666
关注
hadoop基础----hadoop实战(九)-----hadoop管理工具---CDH的错误排查(持续更新)
直到世界的尽头
11-29 1万+
啊解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的，几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。因为NTP的时间同步是平滑同步，不是跳跃式同步，如果设置得不好的话，很难校验出它同步成功了没，总感觉会缺少几秒钟的感觉。有一种解决方法是  我们这里不用NTP的自动同步，而是使用crond每分钟ntpdate 跳跃式同步一次。这种方法
CDH系统文件描述符修改
wflh323的专栏
03-26 2669
hadoop 集群执行任务出现 too many open files 32768 ，我们服务器配置的是65536并没有生效。导致datanode服务卡住跟namenode节点通讯异常，namenode认为datanode节点已dead下线，实际datanode进程没死，恢复正常后尝试连接namenode,datanode 一直拿着失效kerberos票据去访问namenode（票据更新周期为一...
hadoop错误- Too many open files
weixin_30849591的博客
06-09 1220
http://www.cnblogs.com/wycg1984/archive/2010/04/27/1722431.html 下面是Hadoop使用过程中常见错误及解决方法的汇总 （英文部分会后续转为中文） 1. Too many open files错误 有時候 Map Reduce 的工作跑一跑，會發現 datanode 突然都陣亡，去看 log 會發現很多 Too many open ...
Too many open files 问题的解决.txt
03-28
Too many open files 问题的解决.txt
通过Hive执行任务，异常——Hive：Connection refused；Hadoop：too many open files
junshao90的专栏
03-13 6541
问题背景： 工作中需要用到Hiveserver提交任务到hadoop进行离线计算，在正常测试运行整个离线计算任务几遍后，在后面提交任务的运行过程中遇到该异常。 问题表现： 从监控模块放回的异常与Hive中日志异常一样，均为如下所示： 2013-03-01 15:14:12 [ERROR] [SummaryReport] [orderNumStatics/订单量] File
Hadoop MapReduce时Too many open files解决办法
厚积而薄发
05-17 5457
在HIVE执行MR的时候，报如下错误 java.io.IOException: Call to server/10.64.49.21:9001 failed on local exception: java.io.IOException: Too many open files at org.apache.hadoop.ipc.Client.wrapException(Clien
java.io.IOException: Too many open files
weixin_30615767的博客
08-10 243
1、描述： 　　每日一样，例行打开hadoop集群的cloudera manager的管理界面。发现出现了多个bad health的服务。那么出现的这个问题就是查看该服务运行的日志，对应的该服务当中，会包含相应的角色，其中，查看日志的时候可以看每一个角色的运行日志。通过查看日志，发现HBase出现了java.io.IOException: Too many open files 错误的...
日常问题系列——使用parquet-hadoop-1.8.1.jar提供的parquet文件合并，出现too many open files错误
njuptcyd的博客
05-01 1371
背景说明 利用apache parquet-mr项目提供的parquet合并接口，完成hdfs上parquet文件的合并，从而减少hdfs上的小文件，减少文件元数据占据namenode的内存。 问题描述 现场环境上线parquet文件合并算子，运行一段时间后，日志中出现too many open files。利用lsof -p 进程号|wc -l命令来查看进程打开的文件句柄数，发现已经接近系统设置...
【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖
海鸥~
09-03 8854
从Flink 1.11开始，flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。 如果想建立flink-shaded对供应商特定的Hadoop版本，您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。 运行以下命令以flink-shaded针对所需的Hadoop版本（例如对于version 2.6.5-custom）进行构建和安装： mvn clean install -Dhadoop.version=2.6.5-custom 完成此步骤后，将f
java.io.FileNotFoundException (Too many open files)
keeper的博客
07-19 3461
今天kafka集群报错，查看日志提示 [2018-07-18 17:34:02,672] ERROR Error while rolling log segment for PREPROCESS in dir /mnt/sdc (kafka.server.LogDirFailureChannel) java.io.FileNotFoundException: /mnt/sdc/PREPROCES...
数据库导入到hive中出现Can't open file: './mxw20_g107/log_action.frm' (errno: 24 - Too many open files)
a1031891160的博客
08-29 653
解决办法  修改数据库中open_files_limit的大小 使用 mysqlvariables like 'open_files_limit';  查看数据库文件限制的参数 修改为65536； 如果mysql 5.6.29 open files limit 设置不生效 vim /etc/systemd/system/mysql.service   加入 LimitNOFILE=65...
Hadoop 文件读流程
qq_30130043的博客
05-24 498
1）流程图2）流程解读 1. 客户端执行命令（或者代码读取），调用的是dfs的FileSystem.open的方法，open传的是文件路径 2. 根据文件路径去NN找，NN把block块和所在位置的信息的映射关系，返回给一个FSDataInoputStream的对象 3. 客户端拿到FSDataInoputStream对象（即block块地址列表），根据最近的网段去循环...
HDFS too many open files，fd limit的问题（二）
sdn_prc的专栏
09-05 2440
问题本身是明确的：由于操作HDFS的进程，打开了过多的本地文件，导致fd limit达到上限，进而其他需要打开文件（广义的文件的概念）的进程报错。 需要注意的是，这个错误影响到了多个进程，并且这些进程间好像没有继承关系（parent-child）？所以，从HDFS进程的错误日志，无法确定是进程层面的limit到了，还是系统层面的limit到了。 解决这个问题，必须同时确保三个层
hadoop优化：增大文件句柄
qq_27593415的博客
10-10 1545
在linux服务器大并发调优时，往往需要预先调优linux参数，其中修改linux最大文件句柄数是最常修改的参数之一。 在linux中执行ulimit -a 即可查询linux相关的参数，如下所示： [root@mongodb11 ~]# ulimit -a core file size          (blocks, -c) 0 data seg size      
hadoop问题解决
dy_252的专栏
04-24 504
1、datanode：java.io.IOException: Too many open files Too many open files 比較明顯，就是已經到達每個 Process 可以開啟的檔案個數上限。 請修改 /etc/security/limits.conf 加入 代碼: *      soft        nofile        743964 *
分享一下最近工作中遇到的 Too many open files 异常的解决过程
最新发布
weixin_55305220的博客
12-11 668
常见的工具方法，能用现成的就用现成的，轮子可以自己慢慢刨析，私下里学习研究重造；要了解所使用的第三方工具方法，它们会不会影响入参的状态，比如这里的copy方法，会不会主动关闭输入输出流。
too many open files(打开的文件过多)解决方法
muzlei的博客
11-08 2万+
https://www.cnblogs.com/conanwang/p/5818441.html SU: failed to execute /bin/bash:系统中打开的文件过多 一、产生原因 too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如sock...
hiveserver2打开文件数调整
这个人很懒。
08-05 1570
一、hiveservice2文件打开数太多 1、这几个hiveservice的文件数一直在告警，如图 2、通过命令查看hiveservice的文件打开数 lsof -p pid |wc -l hive文件打开数太多任务会出现（too many open files） 3、解决方案 查看现状的 hiveserver max : 32768 ulimit -n 65535 cat /proc/sys/fs/file-max 13057222 4、调大系统max进程参数 1、进程的max : 65535
linux 打开文件数 too many open files 解决方法
热门推荐
傲雪星枫
06-26 15万+
linux 打开文件数 too many open files 解决方法 too many open files
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值