心动的博客

spark自定义函数，Spark sql 使用和dataFrame方式使用。

在linux上跑yarn任务。--deploy-mode配置参数。--py-files配置参数。--queue参数配置。

Hive on Spark : 写Hive SQL，最后通过spark引擎运行在集群中 提高Hive SQL的执行速度，替换计算引擎。配置文件所在路径参考（/opt/installs/hive3.1.2/conf/hive-site.xml）如果未配置Metastore，在hive的配置文件中hive-site.xml添加以下代码问。Spark on Hive : 写spark sql，要查询的数据在hive表中。hive默认包含的计算引擎(mr、tez、spark)准备工作：在hive中创建一张表。