gm_ji的博客

所以采用 Spark 纯净版 jar 包，不包含 hadoop 和 hive 相关依赖， 避免冲突。：Hive 任务最终由 Spark 来执行，Spark 任务资源分配由 Yarn 来调度，该任务有 可能被分配到集群的任何一个节点。所以需要将 Spark 的依赖上传到HDFS 集群路径，这样 集群中任何一个节点都能获取到。1.上传并解压 spark-3.0.0-bin-without-hadoop.tgz。1.上传并解压解压 spark-3.0.0-bin-hadoop3.2.tgz。

（1）把apache-hive-3.1.2-bin.tar.gz上传到Linux的/opt/module/目录下。（2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面。（3）修改apache-hive-3.1.2-bin.tar.gz的名称为hive。1.在$HIVE_HOME/conf目录下新建hive-site.xml 文件。将MySQL的JDBC驱动上传到Hive的 lib目录下。重启Xshell 对话框或者source一下。3.新建Hive元数据库。

搭建环境为三台安装CentOS 8 的虚拟机,包括安装部署Java环境,Hadoop环境,chrony时间同步工具等