HUE
关注
分享
扫一扫
create17
知行合一。
展开
-
如何在HUE上创建oozie Coordinator定时任务流
HUE版本：3.12.0前言通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户，这里使用账号/密码：hue/hue登陆。一、Coordinator简介Coordinator能够将每个工作流Job作为一个动作（Action）来运行，相当于工作流定义中的一个执行节点（我们可以理解为工作流的工作流），这样就能够将多个工作流Job组织起来，称为Coordinator Job，...原创 2019-02-27 22:02:20 · 1570 阅读 · 0 评论 -
如何在HUE上执行Java程序
HUE版本：3.12.0前言通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户，这里使用账号/密码：hue/hue登陆。一、业务场景基于HUE系统，使用平台自带的hadoop-mapreduce-examples.jar对一个文本文件执行wordcount操作。二、前期准备在HDFS的/user/hue/wc/目录下新建wordcount.txt文件，内容如下：...原创 2019-03-06 23:21:53 · 1531 阅读 · 0 评论 -
HUE配置与各服务集成使用
HUE版本：3.12.0Ambari：2.6.1.0HDP：2.6.4.0前言Hue是一个用于开发和操作Hadoop的图形化界面。例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库，执行Oozie任务等。该文主要对Hadoop服务的一些配置通过Ambari进行更改，同时也需要修改${HUE_HOME}/desktop/conf...原创 2019-02-20 21:43:52 · 1296 阅读 · 0 评论 -
如何在HUE上通过oozie调用Hive SQL工作流
HUE版本：3.12.0Hive版本：2.1.0前言通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户，这里使用账号/密码：hue/hue登陆。一、业务场景执行Hive SQL脚本查询mytable表数据前10条，field以”\t”分割，并输出到HDFS指定路径。二、创建mytable表create table if not exists mytable...原创 2019-02-20 21:37:45 · 2054 阅读 · 0 评论 -
如何在HUE上通过oozie调用Pig工作流
HUE版本：3.12.0Pig版本：0.16.0前言通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户，这里使用账号/密码：hue/hue登陆。一、业务场景执行pig脚本将name_age_comma.txt文件中的逗号,转为竖线|，并输出到/user/hue/learn_oozie/mazy_pig_1/output路径下。二、创造数据样例数据name_a...原创 2019-02-20 20:49:06 · 594 阅读 · 0 评论 -
HUE如何访问NameNode HA模式
HUE版本：3.12.0HDP版本：2.6.4前言通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户，这里使用账号/密码：hue/hue登陆。一、WebHDFS与HttpFS在配置HUE访问NameNode HA之前，我们先来了解一下WebHDFS与HttpFS：两者都是基于REST的HDFS API，使得一个集群外的host可以不用安装HADOOP和...原创 2019-03-04 22:53:55 · 909 阅读 · 0 评论 -
如何在HUE上使用Spark Notebook
HUE版本：3.12.0Ambari版本：2.6.1.0HDP版本：2.6.4Spark版本：2.2.0前言通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户，这里使用账号/密码：hue/hue登陆。本篇文章再给大家讲述一下如何配置并使用Spark Notebook。一、修改hue.ini1. 配置Spark打开hue.ini文件，找到【yarn_cl...原创 2019-03-04 21:56:38 · 1573 阅读 · 0 评论 -
如何在HUE上通过oozie调用Spark工作流
HUE版本：3.12.0Spark版本：1.6.3Ambari版本：2.6.1.0HDP版本：2.6.4前言通过浏览器访问ip:8888登陆HUE界面，首次登陆会提示你创建用户，这里使用账号/密码：hue/hue登陆。一、背景访问ip:8888/about/#step2，点击下载Oozie Editor/Dashboard，可以下载应用程序示例。如下图所示：下载完成之后，...原创 2019-02-24 21:36:13 · 2285 阅读 · 0 评论 -
HUE使用场景及如何编译HUE
一、HUE简介Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。很早以前就听说过Hue的便利与强大，一直...原创 2019-02-27 22:05:04 · 2031 阅读 · 0 评论 -
关于调整Oozie时区为GMT+0800后，导致HUE Oozie的Bundle提交失败的问题解决方案
版本：HUE：3.12.0一、HUE Bundle 问题如果将 Oozie 时区设置为 GMT+0800 后，在 HUE 3.12.0 版本中，提交 Oozie Bundle 时，会出现：Bundle Job submission Error: [E1301: Could not read the bundle job definition, [Could not parse [201...原创 2019-06-11 22:36:49 · 877 阅读 · 0 评论