[WARN] - I/O error constructing remote block reader.
java.net.ConnectException: Connection timed out: no further information
...
[WARN] - Connection failure: Failed to connect to /10.0.0.24:9866 for file /user/hive/warehouse/hw_data.db/dws/dws_hw_ltv_detail/date=2019-08-14/part-00000-d037228a-1815-4288-a9ac-10b3062090d8.c000 for block BP-1993280466-192.168.100.45-1566407732189:blk_1075498905_1760462:java.net.ConnectException: Connection timed out: no further information
java.net.ConnectException: Connection timed out: no further information
问题
CDH6.2集群,跟本地电脑不在同一局域网,Spark 读取 Hive 报以上错。
检查
1. 本地及远程 HDFS 服务器都已配置好映射。
2. 已开放远程服务器防火墙,9866端口。
3. 远程连接 Namenode WebUI 及访问 HDFS 没问题,但是不能通过 WebUI 下载文件。
http://cdh-slave01:9870
4. HDFS API直接读取文件没问题,只能查看目录,