m0_46168848的博客

这个依赖是Spark开启支持hive SQL解析，其中2.11是Spark对应的Scala版本，如Spark2.4.7，对应的Scala版本是2.11.12；这个依赖会由于Spark内部调用的依赖guava的版本问题出现冲突；这个spark版本中的guava版本为 16.0.1 ，该版本中移除了相关方法，所以会导致报错。

Spark读取Hive数据的两种方式与保存数据到HDFS

SparkSql读取外部Hql文件并执行和传参的公共类开发

复盘离线电商数仓项目–数据开发梳理业务数据数仓分层ods层到ads层的开发开源BI工具SupersetODS层业务数据&日志数据ods层业务数据使用Sqoop脚本从Mysql数据库拉取数据落盘到hdfs然后创建ods层的外部表_分区表使用封装好的shell脚本将数据load到对应的表中，脚本如下(参考模板)：#!/bin/bashAPP=gmallhive=/opt/module/hive/bin/hive# 如果是输入的日期按照