
HDFS
訾零
做喜欢的事,过玩味的生活。
展开
-
Spark 远程读写 Hive (HDFS) 失败
[WARN] - I/O error constructing remote block reader.java.net.ConnectException: Connection timed out: no further information ...[WARN] - Connection failure: Failed to connect to /10.0.0.24...原创 2020-03-02 14:53:58 · 2871 阅读 · 0 评论 -
CDH 外网IP无法访问 HDFS WebUI
服务器搬迁机房,与个人电脑不在同一局域网,无法访问HDFS WebUI。监听端口,发现监听的是内网IPnetstat -nltp | grep 9870CDH HDFS 中,将 NameNode 绑定到通配符地址,修改为勾选,重启服务。再查看,已经更改为监听 0.0.0.0:9870,可以成功访问 HDFS WebUI。另外Y...原创 2020-01-10 16:00:23 · 1350 阅读 · 0 评论 -
HDFS 数据块丢失
检查丢失块 hdfs fsck -list-corruptfileblocks或者,显示丢失块的信息hdfs fsck /hdfs fsck / | egrep -v '^\.+$' | grep -v eplica #过滤replica和Replica缺失块删除如果是无用的,不需要修复删除即可。# 会放入回收站hdfs dfs -rm /path/file...原创 2019-11-14 10:17:59 · 800 阅读 · 0 评论 -
Windows下IDEA本地读写HDFS
resources文件夹下添加core-site.xml主要属性:<property> <name>fs.defaultFS</name> <value>hdfs://hadoop-master:8020</value></property>注意:cdh环境hdfs端口是8020,hadoop环境h...原创 2019-06-21 17:09:05 · 1885 阅读 · 0 评论