Resource temporarily unavailable问题排除

今天在线上服务器做压测时发现一个很诡异的问题，测试并发量一上来服务器就报如下信息，这时候敲任何命令都没用了

-bash: fork: retry: Resource temporarily unavailable

测试停止压测后一会儿又恢复正常，日志中出现大量访问的创建Hbase的连接失败，甚至出现OOM异常，不能创建一个线程

java.lang.OutOfMemoryError: unable to create new native thread

从异常信息可以看出是不能创建线程了，再结合Linux系统出的错误信息，资源不足，判断应该是用户创建的线程数达到了限制的最大值，使用ulimit -u查看

[dev@mcs-o-api-01]$ ulimit -u
1024

这个值只有默认的1024，将它修改位 102400，再重启服务，问题得到解决，没有再出现这个问题