ywheel的专栏

HUE的介绍How to contribute

在公司搭建和维护大数据平台，并提供给其他数据分析人员使用，hive就是那些非程序员使用的最多（几乎是唯一）的一个服务。当然，在每天的数据处理中，我们为了简化编码工作量，以及使用到数据分析人员积累的成果，可以直接使用或简单修改他们提供的hql脚本进行数据处理，并且使用Oozie调度hive作业。在此介绍一下Hive action的编写，也记录一下曾经在这方面踩到的坑。

最近在我们的其中一个现网环境中部署MR程序，MR程序的调度自然是用Oozie了。在Oozie的Workflow中，我们使用ssh action登录到一台节点上，并且在该节点上部署了脚本做数据库的建表操作。问题出在ssh action中，并且抛出了一个Cannot run program "scp": error=error=2, No such file or directory的错误

多作业输出到同一组的多个目录的问题 请访问我的独立博客查看文章： http://blog.ywheel.cn/post/2018/02/13/multipleoutput/场景1：一个作业输出到多个目录RDDMultipleTextOutputFormat的实现在一个典型的MR或者Spark作业中，作业输出到HDFS时会是一个目录，目录下将会根据分区写出成多个文...

请访问我的独立博客查看文章： http://blog.ywheel.cn/post/2018/03/21/access_hadoop_web_with_kerberos/本文将简单记录在windows环境下，安装kerberos、进行环境配置、认证后，成功访问安全的hadoop集群的web页面并验证访问权限。1. Install and Setup MIT Kerber...