
spark
夜无边CN
这个作者很懒,什么都没留下…
展开
-
CDH 集成Kerberos
kerberos安装 使用复制了。https://blog.youkuaiyun.com/qxf1374268/article/details/79321951。不同的版本可能配置稍有不同。另外加了部分使用过程中的认证说明。 一、安装Kerberos1. 整体说明 软件版本 操作系统:CentOs 6.8 CDH版本:Hadoop 2.6.0-cdh5.9.0 JDK版...原创 2018-08-31 10:50:31 · 1499 阅读 · 0 评论 -
在hue(oozie)上提交pyspark
因为需要使用python的一些库,不得不使用pyspark。在这里记录下遇到的问题。本地开发环境,网上比较容易查到,这里就不写了。这里主要说线上提交的依赖问题。这里是用hue提交,主要有以下几个步骤:1、将所有的依赖打成zip包2、使用sc.addPyFiles(path)或者是sc.addPyFile(path)(ps:不同版本写法不同)将依赖加入环境3、在代码中在初始化...原创 2019-07-31 18:37:49 · 1115 阅读 · 0 评论