欢迎查阅

hive的安装1.上传文件2.配置文件信息和启动3.hive常见属性的配置 1.上传文件 1.1上传文件到/opt/software上，并解压到/opt/module下。 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ 1.2修改名称 apache-hive-1.2.1-bin为hive（也可以不修改）。 mv apache-hive-1.2.1-bin hive 1.3/hive/conf 目录下的 hive-env.sh.templat

hadoop集群的配置3台1.网络的配置2.安装jdk3.安装hadoop 1.网络的配置 安装的是centos7。三台主机的ip和主机名分别为： 主机名称 IP hadoop101 192.168.2.131 hadoop102 192.168.2.132 hadoop101 192.168.2.133 2.安装jdk 2.1 检查是否自带了jdk。 rpm -qa|grep java 当显示有java的时候，用rpm命令进行卸载。 rpm -e --nodeps + 包名

hadoop集群的配置信息 1.集群进程详情 2.集群配置 2.1配置core-site.xml vi core-site.xml 2.2在该文件下添加如下的配置信息： <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:9000</value> </property> <!

查看集群进程脚本 #！/bin/bash for i in hadoop101 hadoop102 hadoop103 do echo “===================== $i ========================” ssh $i /opt/module/jdk1.8.0_144/bin/jps done

集群间的通讯1.ssh配置2.集群的群起(都是在hadoop目录下) 1.ssh配置 1.1生成公钥和私钥（在root账户下） 我们三台虚拟机都是有hadoop用户，为了避免以后出错，在root用户下进行配置。 #切换到root su root ssh-keygen -t rsa 连续按三下回车即可。 进入：cd ~/.ssh #查看 ll 1.2将公钥拷贝到要免密登录的目标机器上 ssh-copy-id hadoop101 ssh-copy-id hadoop102 ssh-copy-id hado

centos7的分发文件脚本1.脚本代码2.脚本配置 1.脚本代码 #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取当前用户名

zookeeper集群群起的脚本 内容zookeeper集群群起的脚本1. 脚本代码2.文件配置的位置3.不能启动（启动没有反应） 1. 脚本代码 #!/bin/bash case $1 in "start"){ for i in hadoop101 hadoop102 hadoop103 do ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh start" done };; "stop"){ for

zookeeper集群的额配置1.前期的准备2.文件配置3.启动4.本地模式 1.前期的准备 下载好的zookeeper上传到centos，解压 tar -zxvf zookeeper包 2.文件配置 将解压的文件的同步到hadoop102,hadoop103 xsync zookeeper/ 在zookeeper目录下创建zkData目录 mkdir zkData 并在zkData目录下创建一个文件myid vi myid 文件中添加对应的编号 hadoop101为1 hadoop102为2 ha

zookeeper的总结 1.zookeeper的选举机制 半数机制：集群中半数以上机器存活，集群可用 Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。 2.ZooKeeper的监听原理是什么？ ZooKeeper的部署方式有哪几种？集群中的角色有哪些？集群最少需要几台机器？ 1）部署方式单机模式、集群模式 （2）角色：Leader和Foll

kafka脚本启动1.脚本代码2. 脚本配置3.脚本的启动 1.脚本代码 #!/bin/bash case $1 in "start"){ for i in hadoop101 hadoop102 hadoop103 do echo "==========$i==============" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/

kafka的集群配置centos71.准备2.文件配置3.启动 1.准备 http://kafka.apache.org/downloads 官网下载地址 将文件上传到虚拟机上,解压 tar -zxvf 下载的压缩包 -C 解压到文件路径 2.文件配置 2.1解压后更改文件夹名称（可不改） mv kafka_2.11-0.11.0.0/ kafka 在kafka目录下新建一个文件夹 mkdir logs 2.2修改配置文件 cd config/ vi server.properties