甘焕的博客

在HIVE中执行如下语句：select * from test where concat(year, month, day, hour) = '2020032412' limit 5;提示如下错误：Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java....

在利用sbt-assmebly对Spark应用打包时，提示如下错误：java.lang.RuntimeException: deduplicate: different file contents found in the following:[error] C:\Users\didi\.ivy2\cache\javax.inject\javax.inject\jars\javax.in...

很简单的Spark Rdd操作，提示如下错误：Error:(46, 15) ambiguous implicit values: both method newIntEncoder in class SQLImplicits of type => org.apache.spark.sql.Encoder[Int] and method newLongEncoder in clas...

为了分析数据的需要，我们需要导出Spark-SQL的查询结果，通过Spark SQL CLI有两种方式。1. 使用“-e”参数与“Hive”一样，Spark SQL CLI也支持“-e”参数，使用方式如下：# 分成多行是为了便于阅读# 执行时请去掉多余的回车spark-sql --num-executors 100 -e "select * from ...

1. 数仓环境指标名称指标值数据总量24T分区数量24存储类型TextSpark SQL版本Pres同版本2. 分页查询所有的计算时间都以秒为单位，执行的SQL语句如下：select * from mydb where year='2018' and month='09' and day='09' and remote_addr='...