wyee000的博客

今天在CDH上模拟数据的时候发现，使用通过命令行的方式调用java代码模拟数据可以成功运行，但是放到脚本中就失效。我是这么解决的： 原来的脚本：#! /bin/bash for i in hadoop102 hadoop103 do ssh $i java -classpath /opt/module/log-collector-1.0-SNAPSHOT-jar-with-...

遇到很多次ssh突然某台机器失效：解决方法如下：首先查看/var/log/sec…（后面记不清了）日志，发现权限不对修改用户家目录权限：chmod 700 /home/user如果还不行继续修改.ssh权限：chmod 600 /home/user/.ssh...

遇到这个以为是报错，结果不影响框架的使用，后来查阅资料发现：这个不是错误，他是当抛出OOM时进行HeapDump，是一个调试参数

1.一直心跳，不执行任务这是因为资源不足，下图所示的容器内存多给点2.执行sqoop任务失败这个我一开始是admin用户登录，后来突发奇想换个用户试试，然后创建了一个用户名和密码都是yarn的用户，重新登录，重新写workflow，然后执行就成功了，原因暂时还不知道。...

因为cm安装spark不会去环境变量去找java，而是去/usr/java/default查找解决方法：mkdir /usr/javaln -s /opt/module/jdk1.8.0_144/ /usr/java/default