qq_41177704的博客

3.上传JDBC MySQL驱动到hive软件的lib目录下面。4.配置hive-env.sh（在hive的conf目录中）1.配置hive环境变量，前面已经配置过来。5.配置hive-site.xml。初始化hive元数据库。2.mysql安装。先启动hadopp。

MapReduce跑不通参考这个解决https://blog.youkuaiyun.com/whs0329/article/details/121878162。拒绝当前用户访问的话，需要设置环境变量将用户替换为root用户。记得设置用户root环境变量，exit 0表示词频统计运行成功。设置环境变量HADOOP_USER_NAME=root。上传本地1.txt文件到hdfs上面。项目pom.xml文件。1.创建要执行统计的目录。Java API代码。

1.上传并解压JDK、hadoop安装包。2.配置JDK、hadoop环境变量。3.修改配置文件。3.1进入hadoop配置文件目录3.2修改hadoop-env.sh里面的JDK路径。3.3修改core-site.xml文件。core-site.xml。主机名修改为免密登录时的主机名，不然免密登录不生效。3.4修改hdfs-site.xml文件。3.5格式化名称节点。参考文献伪分布式参考博客 https://blog.youkuaiyun.com/JunLeon/article/details/120

1.本机生成公钥、私钥和验证文件一路回车默认配置。进入主目录下的隐藏目录（.ssh目录）。查看公钥和私钥。2.修改hosts文件。本地hosts文件主机名与IP地址的映射优先级高于DNS服务器。3.分发公钥给互联网上要登录当前主机的电脑。第一步输入yes，第二步输入root的密码。4.测试免密登录是否成功。

1.打开VM软件2.文件->新建虚拟机3.(典型)->稍后安装操作系统->选择系统版本4.更改虚拟机安装位置。5.更改虚拟机磁盘大小。6.自定义硬件内存、cpu大小。7.使用镜像并启动虚拟机。8.选择安装。9.选择语言。10.选择自动分区。11.设置虚拟网络编辑器。设置虚拟机静态ip地址时一般不与网关地址冲突。12.设置静态IP地址。设置好后，如下图。13.设置root密码及普通用户。14.重启登录系统。用户名root，密码：123456（自定义）。密码不显示。如果静态IP地址不生效，先重置虚拟机网络，再

1.编译azkaban源码通过git拉取代码git clone https://github.com/azkaban/azkaban.git进入git拉取的源代码根目录，编译源码gradlew build installDist编译过程中报错，下载不了node.js，azkaban-web-server目录下的build.gradle文件，默认不下载 node.js，使用系统已经安装的node.js。2.上传tar包到集群在windows下编译了通过xshell(或xftp)上传到ce

HDFS高可用基本概念产生背景：NameNode在实际运行时存在单点故障(NameNode宕机整个集群就挂了)。设计思想：使用多一个NameNode(Standby NameNode)对正在活跃服务的NameNode(Active NameNode)进行实时备份，即将日志分别写入EditLog和Journal Node，原来活跃的NameNode即使挂掉了就使用备份节点。主要组成及作用主要组成：NameNode(两个)、ZKFailoverController、Quorum Journal Nod

YARN组成container对计算资源的抽象(一个容器中包括内存、磁盘、cpu等)ResourceMananger主节点负责全部应用资源管理和分配。调度器：根据应用程序按不同策略(FIFO)分配container应用程序管理器(Application Manager)：对全部应用进行管理，包括应用提交，与调度器协商以启动Application Master，监控Application Master运行状况并在出错时重启它NodeManager作用：将节点的资源信息向Re

HDFS集群搭建ssh免密登录ssh创建rsa对称加密的公钥和私钥，将公钥给其他节点(写入其他节点的.ssh/authorized_keys中)，其他节点就可以登录这个主机了rsa非对称加密，签名(私钥签名后的消息和未加密消息一起发送，接收方用公钥解密签名消息验证是否被篡改)使用配置文件最好一样，不一样可能不知道会出啥问题。core-site.xml配置hdfs的url？？？hadoop-env.xml 配置JDKyarn-env.xml 配置JDKhdfs-site.xml配置nam

实验环境已经部署好的 Hadoop 单机模式环境实验步骤一、配置无密登录$ ssh-keygen -t rsa -P ’’ -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys二、修改配置文件1、切换到/usr/loc...

实验原理安装Java环境和搭建Hadoop单机模式环境实验环境VMware® Workstation 15 Pro、Ubuntu 16.04系统实验步骤启动Linux系统打开VMware,启动虚拟机,输入系统密码。修改主机名。（1）在桌面右键，打开终端。（2）编辑文件$ sudo vim /etc/hostname按提示输入密码在文件中输入主机名，保存退出。（3）重启系统。...