weixin_53299145的博客

一、使用hive-site.xml第一步：将集群中的hive-site.xml的内容复制出来，并放在idea项目的resources下，要求文件命名为：hive-site.xml<configuration> <property> <name>datanucleus.schema.autoCreateAll</name> <value>true</value> </property><pr

一、准备数据因为数据目前在本地，所以先将数据上传至Hive，再进行清洗。上传步骤：1、将数据上传至虚拟机中：使用rz -E 选择文件2、进入hive，选择数据库，并进行建表create table data(TRIP_ID string,CALL_TYPE string,ORIGIN_CALL string,ORIGIN_STAND string,TAXI_ID string,TIME_STAMP string,DAY_TYPE string,MISSING_DATA string,PO

首先将打包好的jar包上传至虚拟机我的jar包统一放在/usr/apps/jar目录中接下来进入spark的目录cd /usr/apps/spark-2.1.1/以下代码为提交jar包到spark运行的命令./bin/spark-submit \--class test \--master spark://master:7077 \/usr/apps/jar/test1-1.0-SNAPSHOT.jar \注意：严格按照此格式编写，如若格式不对，容易出现异常。其他配置参数：（以下

抽取MYSQL数据并保存到新的表中import org.apache.spark.sql.{SaveMode, SparkSession}import java.util.Properties//TODO 1. 查询后写入object SparkReadMysql3 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("sparksql").master("local"

package SparkToHiveimport Spark抽取Mysql到Hive.抽取1.SparkUtilsimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSessionimport java.util.Properties//spark读取Mysql数据，并写入到Hive指定表中object SparkHivePatition { def main(args: Array[String]): U