小魏的博客

自定义类： package myhadoop; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.WritableComparable; public class KeyClass implements WritableCo

配置了hadoop ha后，namenode kill后，另一个namenode没有变为active，相当于ha配置白配了。然后看了官网的ha配置，发现是dfs.ha.fencing.methods属性的问题。           我原先是这样配置的： dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key

前提：java，ssh，hosts都配置完了。      master: namenode , 1.

我的mapreduce运行要查询redis的数据，但是报错了。查了资料要引用第三方的jar包。      在Job中添加第三方包。tagJob.addFileToClassPath(new Path("/third_lib/jedis-2.9.0.jar")); tagJob.addFileToClassPath(new Path("/third_lib/commons-pool2-2.2.ja

192.168.0.110 master 192.168.0.111 slave1 192.168.0.112 slave2 1.配置jdk 另一博客里，三台都要配。 2.添加用户hadoop groupadd hadoop useradd -g hadoop hadoop passwd hadoop vi /etc/sudoers 配置hadoop ALL=(ALL)

1.停止防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 2.selinux改为disable vi /etc/selinux/config SELINUX=disabled

package hadoop; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.had

package hadoop; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.had

package hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop

package hadoop; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop

jobcontrol可以实现多个job结合起来运行。下面就是有两个job的jobcontrol，第一个job的输出是第二个job的输入。 package hadoop; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import

运行mapreduce多文件输出试报错。 17/06/19 17:25:45 INFO mapreduce.Job: Task Id : attempt_1497864070486_0001_r_000000_2, Status : FAILED Error: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protoco

join1.txt: 1 a 2 b 3 c 4 d join2.txt: 1 111 1 222 2 333 2 444 3 555 3 666 4 777 4 888 4 999 自定义类： package myhadoop; import java.io.DataInput; import java.io.DataOutput; import java.io.

以前都是直接在linux上运行的，昨天配置eclipse连接hadoop，可以正常连接hdfs，但是运行mapreduce的时候就一直有错误，今天终于解决了。我也不知道为什么有这么多错误，我只写我能运行的步骤。         1. 我的hadoop是2.6版本的，就下hadoop-eclipse-plugin-2.6.0.jar，然后放到eclipse插件位置，重启eclipse。