hive > create temporary function age_partition as 'org.example.hive.HiveTest';create does not existQuery returned non-zero code: 1, cause: create does not existhive 执行自定义分区的函数时候，会上述报错。只需要重启hive服务端即可...

idea Could not locate executable null\bin\winutils.exe出现这个错误，从网上下载对应的架包放到 hadoop/bin目录后，需要重启idea 否则还是会报错

DStream与window相关的两个参数是windowDuration和slideDuration，这两个参数究竟表示什么含义。通过window操作，DStream转换为了WindowedDStreamwindowDuration表示的是对过去的一个windowDuration时间间隔的数据进行统计计算， windowDuration是intervalBatch的整数倍，也就是说，假如windowDuration=n*intervalBatch， 那么window操作就是对过去的n个RDD进行统计计算

val inputFile = "hdfs://node02:9000/input/Hamlet.txt"val conf = new SparkConf().setAppName("WordCount") //.setMaster("local") .setMaster("spark://node01:7077") .setJars(List("D:\\code\\Test\\TestSpark\\out\\artifacts\\TestSpark_jar\\TestSpark.jar".

java.io.IOException: Failed to delete: C:\Users\DELL\AppData\Local\Temp\spark-c7e93bb8-2f5a-4265-a608-185624b0f906 at org.apache.spark.util.Utils$.deleteRecursively(Utils.scala:1031) at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$...

20/12/03 20:24:03 INFO DAGScheduler: ShuffleMapStage 0 (map at WordCount.scala:24) failed in 2.446 s due to Job aborted due to stage failure: Task 1 in stage 0.0 failed 4 times, most recent failure: Lost task 1.3 in stage 0.0 (TID 5, 192.168.20.167, execut

如果yarn nodeManager 节点启动失败，log可以去看yarn-root-nodemanager-db-23.out 文件的同级目录下的 yarn-root-nodemanager-db-23.log文件如果日志中发现的错误如下：The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.则修改yarn-site.xml<name>yarn.nodem.

如果发现worker节点启动的时候，总是报连接不上master:7077端口因为启动的时候，你通过start-all.sh启动，这时间读取的都是master节点上面的配置文件；你修改worker节点的配置文件是没有效果的注意配置文件的键值要看之前的template 文件中定义的键值，可能与之前的版本不同spark-2.4.6版本的SPARK_MASTER_HOST 而没有SPARK_MASTER_IP如果你配置了SPARK_MASTER_IP ，这时候启动worker节点的...