
spark
spark
少蓬
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
win下Sparksql 无法获取文件权限问题
Caused by: java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hiveCaused by: java.lang.RuntimeException: Error while running command to get file permissi原创 2020-06-29 14:28:02 · 948 阅读 · 0 评论 -
Spark自定义聚合函数
Spark自定义聚合函数package com.offcn.sparkimport org.apache.spark.sql.Rowimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types.{DataType, StringType, StructField, StructType}class原创 2020-06-29 14:19:21 · 621 阅读 · 0 评论 -
SparkStreaming 消费Kafka中数据
SparkStreaming 消费Kafka中数据import java.text.{DateFormat, SimpleDateFormat}import java.util.Dateimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.SparkSessionimp原创 2020-06-29 14:15:52 · 285 阅读 · 0 评论