初学者

hadoop集群完全分布式集群搭建 1、集群部署规划 2、创建集群脚本 a）在/home/yrx目录下创建bin目录，并在bin目录下xsync创建文件， 文件内容如下： 注：如果没有安装xsync的话，我们可以先装 yum -y install rsync #启动rsync服务 systemctl start rsyncd.service systemctl enable rsyncd...

# 安装mysql 1．查看mysql是否安装，如果安装了，卸载mysql （1）查看 [root@hadoop102 桌面]# rpm -qa|grep mysql mysql-libs-5.1.73-7.el6.x86_64 （2）卸载 [root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 2．下载安装mys...

3.0、Hive安装【基于centos7.0】 1、hive安装配置 （1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下 （2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面 [yrx@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bi...

安装kafka 1、解压安装包 [yrx@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/ 2、修改解压后的文件名称 [yrx@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kafka 3、在/opt/module/kafka目录下创建logs文件夹 [yrx@h...

安装Kylin 1、这几个需要都在/etc/profile里面有配置,并source使其生效 2、启动hadoop、hive、hbase、zk 、hadoop的历史服务之后，然后启动kylin bin/kylin.sh start 3、出现报错情况 Failed to find metadata store by url: kylin_metadata@hbase 这个错误原因是因为我们hb...

spark2.4 on yarn高可用安装【基于Centos7.0】 1、首先，安装spark需要安装scala，这里不做陈述 2、下载spark，并上传到相应位置 3、解压spark tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/module/ 4、修改名字 mv spark-2.4.0-bin-hadoop2.7/ spark 5、进入sp...

安装sqoop 1、解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module/ 2、更改名称 mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop 3、配置环境变量,并source sudo vi /etc/profile export SQOOP_HOME=/opt/module/sqoop e...

HBase安装 1、首先保证zk正常部署，启动zk [yrx@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start [yrx@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start [yrx@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start 2、保证h...

spark的动态资源配置 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行 的服务（比如Thrift Server），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源张，这就造成了很大的资源浪费和资源不合理的调度。 ​ 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减 Executor个数，从...