weixin_43806056的博客

IDEA编写程序：spark SQL连接 hive报错：java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning我的问题出现在：方法一：把hive-site.xml拷贝到idea的resources中后，hive-site.xml中的一个配置需要改：简单来说，把 “hive.execution.eng...

这段时间复习了spark，自己用spark sql 实现了udf和用户自定义函数。废话少说，直接上代码：DataFrame的用户自定义UDF函数用户根据业务情况自定义的函数实现某些功能//创建一个dfval df = spark.read.json(“in/user.json”)//创建一个临时表df.createOrReplaceTempView(“person”)//创建一个u...

最初我是建立了一个java项目，然后右键项目configure->add scala nature，将项目添加scala依赖。但是报错more than one scala library found in the builder path。。。。。我的解决办法：右键项目->configure builder path，将scala版本更换为2.10.6，再次刷新项目，...

报错信息：java.lang.UnsupportedClassVersionError: org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0解决办法：helloword.scala(准备运行的代码)->run configuration->JRE->alternate j...