qq_65303368的博客

【代码】构建sparkSession工具类。

【代码】spark写入Hbase工具类。

spark-shell底层是调用的spark-submit，每次运行时都会把yarn所需的spark jar打包上传至HDFS，然后分发到每个NM。如果我们将jar包提前上传至HDFS，那么spark在运行时就不用上传，可以直接从HDFS读取了。重新运行 spark-shell --master yarn-client。在以yarn作为master启动sparkshell出现警告。在spark-default.conf文件中添加。将jar包上传至hdfs目录。

配置环境变量，在/etc/profile文件中添加以下内容并重新加载配置文件(source /etc/profile)进入spark/conf配置目录新建spark-env.sh文件(vim spark-env.sh)并加入以下内容。将下载好的压缩包传入虚拟机的安装路径，本文章为/soft目录。进入spark安装目录输入以下内容成功返回pi的值则配置成功。

上传jdbc驱动包到/soft/hive/lib文件夹下并保证mysql中有名为hive的数据库。这可能是因为jdbc版本问题导致的，在确保hive/lib目录下有jdbc驱动包后可以参考一下。这里mysql版本为5.7，请下载你mysql对应版本的jdbc驱动。将安装包上传至/soft目录并解压改名。需要提前安装hadoop与mysql。输入 show databases;确保hadoop启动后启动hive。，这里可能有人会遇到。修改hive环境变量。

Linux压缩包形式安装mysql5.7

hadoop2.7.7在Linux系统进行伪分布式安装

在linux环境下安装scala与java的详细步骤