Hadoop
关注
分享
扫一扫
iFence
微信公众号：大数据报文
展开
-
spark本地提交任务到远程集群报错:file does not exist
背景今天本来想测试一下Spark装到集群以外，远程提交任务试试。但是遇到了一些问题,这里记录一下。微信公众号：大数据报文环境在集群以外提交任务首先要安装Spark客户端，而Spark客户端又依赖Hadoop（当然这里并不是集群，只是把hadoop解压并配置好环境变量）。安装好以后使用spark-submit命令提交example中的Spark Pi程序到集群：./spar...原创 2019-12-12 10:07:38 · 5124 阅读 · 0 评论 -
集群启动hadoop后，客户机无法打开Web UI
背景今天在公司搭建了一个hadoop集群。用的服务器是centos7.5。一切都十分正常，启动以后，所有的进程都在。唯一不正常的是居然Web UI打不开了。而且我注意到就是单纯的连接不上，浏览器并没有显示拒绝连接之类的字眼。客户端和服务器相互也能够ping通。因为发现集群是正常的，linux使用 curl master:50070查看发现也有网页返回。所以感觉问题不大，到饭点了，就去吃饭...原创 2019-06-12 19:53:09 · 3862 阅读 · 1 评论 -
centos7 root用户切换普通用户出现-bash-4.2$
记一次有趣的问题。背景微信公众号：大数据报文百度看了好多，跟我的情况都不是特别一样，感觉将来跟我一样的可能性也不太大，但是记录下来，算是增加这个问题的样例库吧。在新服务器上搭建了Hadoop集群，但是发现集群的可用内存每个节点只有30G，于是想改一下hdfs的挂载点。但是很不巧的是这个空间最多的挂载点在/home目录下我隐隐感到这样直接将挂载点改到/home目录下不太合适，...原创 2019-06-18 16:14:19 · 3008 阅读 · 0 评论 -
Windows连接远程hdfs出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComput错误
背景以前写spark都没有读取过hdfs文件，而是读取本地文件，今天试了一下读取公司服务器的文件，做一个简单的word count结果出问题了。Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuff...原创 2019-08-17 17:53:16 · 4448 阅读 · 4 评论