wangxiyanw的博客

当我运行sparksubmit提交任务的时候报了这个scala/collection/GenTraversableOnce$class的错误.后来进行网上查看说是依赖包中存在与scala版本不匹配的依赖包然后我去maven当中查看,确实是有一个依赖的版本不一样<dependency>    <groupId>org.apache.spark</groupId>...

maven中的<scope>provided</scope>是为了解决冲突的.因此如果某个依赖加了scope的话,在打包的时候这个依赖就不会打进jar包中.

现在很多的公司都开始使用了kerberos认证,进行权限控制.下面我就说说hbase的kerberos认证.def putLogsToHTable(p: Iterator[(HBaseKey,String)],bp:Broadcast[Properties]):Unit = {  val (ugi,hBaseConf): (UserGroupInformation,Configuration) ...

出现的具体错误是:Exception in thread "main" org.apache.SparkException:Yarn application has already ended! It might have been killed or unable to launch application master.我最开始运行的是client模式出现了Spark的任务无法提交的情况.之后...

在项目开发的过程中,遇到了一个dataframe.mapPartitions操作的时候,出现上述的错误,看了提醒的问题,主要是:需要一个encode操作.但是为了简化操作可以直接将dataframe转换成rdddataframe.rdd.mapPartitions...