qq_41622603的博客

0.11.0版本下载地址：http://mirrors.hust.edu.cn/apache/thrift/0.11.0/thrift-0.11.0.tar.gz执行如下命令安装Thrift依赖：yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel openssl-devel升级 bison wge...

一、搭建好Scala环境下载地址：https://www.scala-lang.org/download/拉到最下面，官网现在是2.13.3版本，案例用的是2.11.6版本：https://download.youkuaiyun.com/download/qq_41622603/12919481(1)把安装包上传到服务器，并解压，这里上传到/opt/software目录下切换到目录：cd /opt/software解压：tar -zxvfscala-2.11.6.tgz(2)配置环境变.

官网下载地址，就在官网首页就有下载,点击下载最新稳定版：http://sqoop.apache.org/或者给我贡献点积分也行：https://download.youkuaiyun.com/download/qq_41622603/12917824一、上传并解压(1)把tar包上传到/opt/software目录下执行解压：tar -zxvfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz(2)把mysql驱动复制到Sqoop的lib目录下:mysq..

一、下载安装包，并上传官网下载地址：http://flume.apache.org/download.html或:https://download.youkuaiyun.com/download/qq_41622603/12914112上传到/opt/software目录下，进入目录执行：tar -zxvfapache-flume-1.9.0-bin.tar.gz这里还要修改两个地方，当然你也可以等报错的时候再回来修改(1)flume内依赖的guava.jar和hadoop内的版本不一致会造成.

pom文件 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.2.6</version> </dependency> <dependency

本文基于：Hadoop3系列——(三)YARN环境搭建 环境下搭建兼容：下载Hadoop版本对应的Hbase，hbase下载地址：http://hbase.apache.org/downloads.html本文使用的Hbase版本是2.2.6：一、上传tar包并解压：tar -zxvfhbase-2.2.6-bin.tar.gz进入到hbase家目录的conf文件夹下：cd /opt/software/hbase-2.2.6/conf/二、修改hbase-...

一、pom文件导入依赖注意版本，hive-exec：可以参考hive家目录下的lib目录的jar文件版本，或者直接复制出来导入项目hadoop-common：可以参考hadoop家目录下的share/hadoop/common目录的jar文件版本 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive

本文基于Hadoop3系列——(四)Hive安装一、pom文件：导入hivejdbc驱动<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>3.1.2</version></dependency>

hive-1.2.1tar包下载：https://download.youkuaiyun.com/download/qq_41622603/12909769mysql-connector下载：https://download.youkuaiyun.com/download/qq_41622603/12909766一、上传和解压(1)下载完成后解压，把hive上传到服务器上cd 到/opt/software目录下进行解压：tar -zxvf apache-hive-3.1.2-bin.tar.gz(2).

Yarn容器虚拟内存率不足：修改Hadoop_HOME/etc/hadoop/yarn-site.xml文件，加入下面代码，如果还是提示不足的话可以把value改大点<property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>3.0</value></property>...

hadoop jar jar包路径 入口类全路径如：hadoop jar /opt/software/mapreducedemo-1.0-SNAPSHOT.jar com.mr.airSort.AIrRunJob

本文基于：Hadoop3系列——(一)HDFS完全分布式搭建环境下搭建一、编辑mapred-site.xml 文件文件在hadoop家目录下的etc/hadoop目录下，在<configuration>标签内加入下面代码<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>.

节点分配图：说明下每个节点的作用：NN：两个NN节点有两种状态：Active(活动)和Standby(备份)。ZKFC：监控和控制NameNode的状态切换，当集群的Active(活动)NameNode挂掉时会把Standby(备份)切换成Active状态JN：共享edits日志文件，edits文件一旦丢失，会导致元数据的丢失，DN也就丢了，JN往往是一个集群，保证edits不会丢失ZK：ZooKeeper，选择其中一个备用的NameNode为Active。两个NN并非其中一个是..

搭建出来的节点分布先准备3台机器，我是先准备一台node1然后通过克隆把node2和node3克隆出来一、安装jdk1.8安装教程：https://blog.youkuaiyun.com/qq_41622603/article/details/108736521二、配置IP和主机名映射编辑 /etc/hosts文件：vi /etc/hosts加入最后面3行三、安装和配置Hadoop3(1)，下载和上传下载地址：https://mirror.bit.edu...

配置yarn-site.xml配置文件（文件路径$HADOOP_HOME/etc/hadoop/）value是配置主机名，主机是启动NameNode的那台主机，Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn启动resourcemanager：yarn-daemon.sh start resourcemanager启动nodemanager：yarn-daemon.sh start nodemanager...

1.cd到hadoop-x.x.x/share/hadoop/mapreduce下2.执行：hadoop jar hadoop-mapreduce-examples-x.x.x.jar wordcount / /wcjar：运行jar文件/：是指hdfs的根目录下所有文件/wc：是指结果保存路径，如图2wordcount：单词统计，可以根据需要换成其他(如下图)图2....

1.配置core-site.xml文件，我这里是修改hadoop默认的文件，也就是/hadoop-x.x.x/etc/hadoop/目录下的(1)设置NN使用哪个端口接收客户端和DN的RPC请求。chen是 图1.在/etc/hosts下配置和本机ip映射的名称。注：名称是本机的名称，乱起名会报错(2)设置临时文件目录<configuration> <property> <name>fs.defaultFS</name>