qq_34999090的博客

sqoop详细安装

本文安装环境介绍:a、三台linux服务器,分别命名为node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、hadoop版本:hadoop-3.3.0hadoop和hbase兼容性1、下载Hbase网址:https://dlcdn.apache.org/hbase/2.4.11/2、上传到node1上并解压到/e..

1、Spark On Yarn的部署Spark On Yarn不需要过多的配置，只需要确保以下两项的正确配置(/export/server/spark/conf/spark-env.sh )HADOOP_CONF_DIRYARN_CONF_DIR[root@node1 conf]# vim spark-env.shHADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/YARN_CONF_DIR=/export/server/ha.

前提:确保Zookeeper和HDFS均已经启动1、配置文件修改跳转到配置文件夹：[root@node1 zookeeper-3.4.9]# cd /export/server/spark/conf[root@node1 conf]# vim spark-env.sh注释或删除掉下面的语句(前面加#号)#export SPARK_MASTER_HOST=node1增加以下内容:SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMo

1、下载Zookeeper网址:Index of /dist/zookeeper并上传下载的文件到Lunix的/export/software/目录下 (演示的是按照zookeeper-3.4.9.tar.gz）2、解压文件[root@node1 software]# tar -zxvf zookeeper-3.4.9.tar.gz -C /export/server/3、修改配置文件 a、进入conf文件夹:[root@node1 conf]#cd /...

1、集群规划使用三台Linux虚拟机来组成集群环境, 非别是:node1\ node2\ node3node1运行: Spark的Master进程 和 1个Worker进程node2运行: spark的1个worker进程node3运行: spark的1个worker进程在所有机器安装Python(Anaconda):参考：Anaconda On Linux安装_沉默鹰_90的博客-优快云博客在所有机器配置环境变量：参考(以下文档的3、4、5点；Spark先不要安装，最后从no

1、解压文件解压spark压缩文件到/export/server/目录下(我的是:spark-3.2.0-bin-hadoop3.2.tgz)(pyspark) [root@node1 export]# tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/server/2、配置软连接(也可以不配置，配置是为了输入这个文件夹是比较方便)(pyspark) [root@node1 server]# ln -s /export/serv.

MySQL安装详细步骤，MySQL安装中的问题处理，mysql安装报GPG验证不通过问题处理