weixin_43975538的博客

1.查找jps [hadoop@hadoop001 hadoop]$ which jps /usr/java/jdk1.8.0_45/bin/jps 2.使用jps 使用jps命令的时候，只有当前进程的用户可以查看jps的详细信息： [hadoop@hadoop001 hadoop]$ jps 22321 SecondaryNameNode 22035 NameNode 24837 NodeMa...

IDEA提交到Yarn可能会出现一系列问题，只要添加一些参数就可以解决 package com.ruozedata.bigdata.hadoop.mapreduce.wc; import com.ruozedata.bigdata.hadoop.utils.FileUtils; import org.apache.hadoop.conf.Configuration; import org.apa...

需求：展示部门员工的员工编号、员工姓名、部门编号、部门名称。 分析：，部门表跟员工表都有一个相同的字段，部门编号。可以根据部门编号进行jion操作，再将所属表的信息进行一个标识（flag）。 map中根据文件名判断当前行数据所属的数据，并设置对应的flag值 在reduce中根据根据关联字段进行join处理 部门表： 10 ACCOUNTING NEWYORK 20 RESEARCH ...

1.hadoop中的InputSplit是什么？ 如果分配一个Mapper给块1，在这种情况下，Mapper不能处理第二条记录，因为块1中没有完整第二条记录。因为HDFS不知道文件块中的内容，它不知道记录会什么时候可能溢出到另一个块（because HDFS has no conception of what’s inside the file blocks, it can’t gauge whe...

package com.ruozedata.bigdata.hadoop.mapreduce.wc; import com.ruozedata.bigdata.hadoop.utils.FileUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apach...

1.HDFS HA 架构 1.1首先我们需要准备最起码三台机器做HDFS的高可用 ruozedata001: ZK(zookeeper) NN(namenode) zkfc(zookeeperFailoverControl) jn(JournalNode) DN(datanode) ruozedata002: ZK(zookeeper) NN(namenode) zkfc(zookeeper...

首先看以下脚本所执行的内容 #!/bin/bash #定义空变量 NN1_HOSTNAME="" NN2_HOSTNAME="" NN1_SERVICEID="" NN2_SERVICEID="" NN1_SERVICESTATE="" NN2_SERVICESTATE="" #设置需要发送邮件的邮箱 EMAIL=1124009143@qq.com #配置hadoop命令的目录 CD...

1.需要的软件 2.安装 3.测试

1.准备好对应的软件 1.1 Hadoop-2.6.0-cdh5.7.0-src.tar.gz 1.2 jdk-7u80-linux-x64.tar.gz 必须是1.7版本的jdk，1.8的一编译就报错 1.3 apache-maven-3.3.9-bin.tar.gz 最好是3.0及以上的版本 1.4 protobuf-2.5.0.tar.gz 2.编译hadoop 首先将上述软件下...

1.执行命令安装一些依赖组件 [root@hadoop001 ~]# yum -y install lzo-devel zlib-devel gcc autoconf automake libtool 2. 下载lzo的源码包并解压 [hadoop@hadoop001 software]$ wget http://www.oberhumer.com/opensource/lzo/downl...