zxc843231635的博客

测试数据100,200 300 400 500 600 700 800200,100 300 400 500 700300,100 200 400 500 600 700400,100 200 300 700 800500,100 200 300 700 800600,100 300700,100 200 300 400 500 800800,100 400 500 700注意:测试数

数据样本hadoop hello hadoop cathdfs worldtom cattom hdfs cat doghello worldhello dearhello lileililei hanmeimei分析推荐好友就是将可能认识的人推荐给他，简单的说，就是找到可能存在二度关系的人思路就是将所有关系都找出来解决方案不啰嗦，上代码mapper阶

准备工作1.构建三个linux环境作为三个节点2.三个节点间可相互通信3.三个节点的IP和hostname绑定（不绑定也可以，直接用IP）4.关闭所有节点防火墙（service iptables stop，本人在这里犯过错误，浪费好多时间）开始搭建一.安装jdk（三个节点均安装）1.我用的是jdk-8u11-linux-x64.tar.gz，直接解压即安装2.配置JAVA_HOME,/etc/pro

问题：WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /opt/hdfs/tmp/mapred/staging/Administrator/.staging/job_201705031949_0005/job.jar could