
安装部署
文章平均质量分 72
RashaunHan
这个作者很懒,什么都没留下…
展开
-
Flume安装
1.上传 2解压tar -xzvf apache-flume-1.8.0-bin.tar.gz 3.修改flume-env.sh进入 flume 的目录,cp flume-env.sh.template flume-env.sh , 修改flume-env.sh,在里面配置 export JAVA_HOME=/usr/local/jdk1.8.0_191 4.配...原创 2018-12-04 11:34:51 · 1117 阅读 · 0 评论 -
azkaban安装
1)上传安装包 azkaban-executor-server-2.5.0.tar.gz azkaban后台执行器的安装包 azkaban-web-server-2.5.0.tar.gz azkaban的web界面的安装 登录界面 用户名 密码 --- 存储在关系型数据库的 azkaban-sql-script-2.5.0.tar.gz azkaban的数据...原创 2018-11-28 18:19:48 · 176 阅读 · 0 评论 -
sqoop安装
1)上传 2)解压 tar -xvzf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 3)配置环境变量 export SQOOP_HOME=/home/hadoop/apps/sqoop-1.4.6.bin__hadoop-2.0.4-alpha export PATH=$PATH:$SQOOP_HOME/bi...原创 2018-11-28 18:17:52 · 120 阅读 · 0 评论 -
Spark HA(高可用)集群的搭建
1.上传并且解压spark安装包2.将解压出来的目录重命名为spark3.进入spark/conf修改配置文件 1.进入conf目录并且复制spark-env.sh.template并重命名为spark-env.sh,并在文件最后添加如下配置内容cp spark-env.sh.template spark-env.shvi spark-env.shexport...原创 2018-12-04 11:44:20 · 872 阅读 · 0 评论 -
元数据库使用自己安装的mysql安装HIVE
1)上传2)解压 tar -xvzf apache-hive-2.3.2-bin.tar.gz3)配置环境变量 export HIVE_HOME=/home/hadoop/apps/apache-hive-2.3.4-bin export PATH=$PATH:$HIVE_HOME/bin source /etc/profile4)安装mysql参见文档...原创 2018-11-29 09:51:11 · 154 阅读 · 0 评论 -
Zookeeper的安装
1)上传 2)解压 tar -xvzf zookeeper-3.4.10.tar.gz 3)配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/home/hadoop/apps/zookeeper-3.4.10/bin export PATH=$PATH:$ZOOKEEPER_HOME/bin...原创 2018-11-28 18:16:55 · 156 阅读 · 0 评论 -
Hadoop集群的搭建【完全分布式】
集群安装在多个节点上的 1)多个节点的要求: 多个节点的用户名(安装的时候使用的用户/普通用户)一定要统一 多个节点的安装目录统一 集群规划:集群中的各个节点安装的组件有哪些 HDFS yarn namenode datanode secondarynamenode rm nm master namenode resourcemanager ...原创 2018-11-13 15:08:15 · 176 阅读 · 0 评论 -
Kafka的安装
1、上传安装包2、解压安装包到对应的目录 tar -zxvf kafka_2.11-1.1.0.tgz3、修改配置文件cd /home/hadoop/apps/kafka_2.11-1.1.0/configvim server.properties 修改以下内容:broker.id=1 ## 当前集群中的每个 broker 节点的一个唯一编号,每个节点都不一样...原创 2018-12-04 11:32:03 · 167 阅读 · 0 评论 -
搭建Hadoop的HA集群的搭建
1.上传安装包2.解压tar -xvzf hadoop-2.7.6.tar.gz3.配置环境变量export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.6export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile验证:hadoop version4)修改h...原创 2018-11-19 14:19:01 · 205 阅读 · 0 评论 -
hbase 集群搭建
1、 安装 zookeeper 集群,此处略2、 找到官网下载 hbase 安装包 hbase-1.2.6-bin.tar.gz3、 上传安装包到服务器,并解压到对应的安装目录4、 修改配置文件 1、修改运行环境配置环境 vi hbase-env.sh 修改两个两地方: e...原创 2018-11-28 18:20:56 · 138 阅读 · 0 评论