spark
关注
分享
扫一扫
文章平均质量分 81
Jason不在家
没有简述
展开
-
spark sql json AnalysisException: Found duplicate column(s) in the data schema
spark sql 读取 json 文件 json 中存在 date 和 Date 字段下面的配置默认 False 解析查询不区分大小写，改为 True 之后就可以区分大小写，不报错了spark.conf.set(“spark.sql.caseSensitive”, “true”)...原创 2020-03-30 18:53:46 · 3483 阅读 · 1 评论 -
关于Spark 和 scala 版本冲突的问题
Spark 和Scala 版本冲突问题原创 2017-12-06 23:01:57 · 11987 阅读 · 0 评论 -
spark 连接 ES java.net.SocketTimeoutException 异常
INFO - Subtask: INFO - Exception in thread "main" java.net.SocketTimeoutExceptionINFO - Subtask: INFO - at org.apache.http.nio.protocol.HttpAsyncRequestExecutor.timeout(HttpAsyncRequestExecutor.java:...原创 2018-11-29 16:43:01 · 2855 阅读 · 2 评论 -
Failed to execute user defined function(anonfun$2: (array<double>) => double)
报错信息：org.apache.spark.SparkException: Failed to execute user defined function(anonfun$2: (array<double>) => double)Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedA...原创 2019-02-12 16:42:21 · 6090 阅读 · 0 评论