Hadoop
tsaideng
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
copyToLocalFile报错:(null) entry in command string: null chmod 0644
通过java代码测试hdfs文件上传Exception in thread "main" java.io.IOException: (null) entry in command string: null chmod 0644 G:\artifacts3.xml修改代码如下:原创 2019-12-23 22:59:22 · 314 阅读 · 0 评论 -
hadoop Application 里面打不开Node和Logs
hadoop查询logs的时候,点击Logs打不开,http://hadoop02:8042/node/containerlogs/container_1576407055936_0003_01_000001/root。然后经过查询资料,了解到是因为我们这里用了主机名,所以打开不了,需要在window上面设置才可以。解决方法:在C:\Windows\System32\drivers\etc 下...原创 2019-12-15 12:05:16 · 1214 阅读 · 0 评论 -
HA hadoop不能上传到hdfs, 遇到WARN hdfs.DFSClient: DataStreamer Exception
案例:在准备put一个file到 hdfs的时候,遇到以下错误。[root@hadoop01 current]# hdfs dfs -put /home/words /19/12/05 15:49:14 WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOExc...原创 2019-12-07 23:28:21 · 1982 阅读 · 0 评论 -
HA Yarn 启动 resourcemanager 闪退
执行命令start-yarn.sh 和 yarn-daemon.sh start resourcemanager,发现resourcemanager启动不了。然后查询log,发现原来是配置文件有错误。错误配置:<property> <name>yarn.resourcemanager.zk.address</name> <value>h...原创 2019-12-07 18:36:54 · 1332 阅读 · 0 评论 -
【转】zookeeper自定义日志输出目录
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.youkuaiyun.com/lihongtai/article/details/857602531.修改 /bin/zkEnv.sh 文件1.1)修改ZOO_LOG_DIR变量的值表示把日志文件打印到zk安装目录下的logs目录下,如果logs文件不存在,zk...转载 2019-12-04 17:41:28 · 244 阅读 · 0 评论 -
hadoop ssh免密登录
hosts的设置如下[root@hadoop01 hadoop-2.7.7]# vi /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6...原创 2019-09-29 16:18:20 · 532 阅读 · 0 评论 -
hadoop 如何永久性关闭防火墙
用这个命令就可以了chkconfig iptables off[root@hadoop01 hadoop-2.7.7]# chkconfig iptables --listiptables 0:off 1:off 2:on 3:on 4:on 5:on 6:off[root@hadoop01 hadoop-2.7.7]# cat /etc/inittab # inittab...原创 2019-09-29 14:50:58 · 1825 阅读 · 0 评论 -
如何解决 java.io.IOException: Got error, status message , ack with firstBadLink
当我们遇到以下问题的时候,我们可以在对应的集群服务器那里关闭相应的防火墙。[root@hadoop01 hadoop-2.7.7]# hdfs dfs -put ./README.txt /19/09/29 18:47:11 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.IOException: Got er...原创 2019-09-29 11:23:45 · 6487 阅读 · 3 评论 -
查看hadoop web ui监控有问题 xxxx:50070/dfshealth.html
如果输入发现打不开 http://192.168.216.111:50070/输入以下命令就可以了。service iptables stop原创 2019-09-28 17:26:51 · 1678 阅读 · 0 评论 -
执行start-dfs.sh后,datenode没有启动的解决办法
执行start-dfs.sh后,datenode没有启动,很大一部分原因是因为在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时主节点namenode的clusterID会重新生成,而从节点datanode的clusterID 保持不变导致的。解决方案(一):在hdfs-site.xml文件下找到这两个文件路径,打...转载 2019-09-28 17:01:17 · 985 阅读 · 0 评论
分享