Hue（03）——Hue其他框架的集成

最新推荐文章于 2023-01-04 18:23:49 发布
原创 最新推荐文章于 2023-01-04 18:23:49 发布 · 508 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HUE

本文详细介绍了如何配置Hue以与Hadoop的HDFS、YARN、Hive、Impala和MySQL集成。首先，需要修改Hadoop的core-site.xml和hdfs-site.xml配置，重启集群。接着，配置Hue的hue.ini文件，设置HDFS和YARN的参数，以及Hive、Impala和MySQL的连接信息。最后，启动Hive的metastore和hiveserver2服务，确保权限正确。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hue与hadoop的HDFS以及yarn集成

1 更改所有hadoop节点的core-site.xml配置
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
2 更改所有hadoop节点的hdfs-site.xml
<property>
	  <name>dfs.webhdfs.enabled</name>
	  <value>true</value>
</property>
3 重启hadoop集群

在node01机器上面执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0

sbin/stop-dfs.sh
sbin/start-dfs.sh
sbin/stop-yarn.sh
sbin/start-yarn.sh

更改之后要重启hdfs与yarn集群。

4 停止hue的服务，并继续配置hue.ini

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
配置我们的hue与hdfs集成

[[hdfs_clusters]]
    [[[default]]]
fs_defaultfs=hdfs://node01.hadoop.com:8020
webhdfs_url=http://node01.hadoop.com:50070/webhdfs/v1
hadoop_hdfs_home=/export/servers/hadoop-2.6.0-cdh5.14.0
hadoop_bin=/export/servers/hadoop-2.6.0-cdh5.14.0/bin
hadoop_conf_dir=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

配置我们的hue与yarn集成

[[yarn_clusters]]
    [[[default]]]
      resourcemanager_host=node01
      resourcemanager_port=8032
      submit_to=True
      resourcemanager_api_url=http://node01:8088
      history_server_api_url=http://node01:19888

配置hue与hive集成

如果需要配置hue与hive的集成，我们需要启动hive的metastore服务以及hiveserver2服务（impala需要hive的metastore服务，hue需要hvie的hiveserver2服务）

更改hue的配置hue.ini

修改hue.ini

[beeswax]
  hive_server_host=node03.hadoop.com
  hive_server_port=10000
  hive_conf_dir=/export/servers/hive-1.1.0-cdh5.14.0/conf
  server_conn_timeout=120
  auth_username=root
  auth_password=123456

[metastore]
  #允许使用hive创建数据库表等操作
  enable_new_create_table=true
启动hive的metastore服务

node03启动hive的metastore以及hiveserver2服务
cd /export/servers/hive-1.1.0-cdh5.14.0

nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &
重新启动hue，然后就可以通过浏览器页面操作hive了

配置hue与impala的集成

停止hue的服务进程

修改hue.ini配置文件

[impala]
  server_host=node03
  server_port=21050
  impala_conf_dir=/etc/impala/conf

配置hue与mysql的集成

找到databases 这个选项，将这个选项下面的mysql注释给打开，然后配置mysql即可

[[[mysql]]]
      nice_name="My SQL"
      engine=mysql
      host=node03
      port=3306
      user=root
      password=123456

重新启动hue的服务

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

解决hive以及impala执行权限不足的问题

在我们hive当中执行任意的查询，只要是需要跑MR的程序，就会报错，发现权限不够的异常
需要给hdfs上面的几个目录执行权限即可

hdfs  dfs  -chmod o+x /tmp
hdfs  dfs  -chmod o+x  /tmp/hadoop-yarn
hdfs  dfs  -chmod o+x  /tmp/hadoop-yarn/staging

或者我们可以这样执行

hdfs  dfs  -chmod -R o+x /tmp
HDP 2.5集成Hue
06-07 3661
简介Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job、Hive查询等等。如果使用的是CDH平台，那么默认就已集成
大数据分析工程师入门11-Hue&Zeppelin
大数据与人工智能
07-01 1517
日常数据分析工作中，很多时候都在处理临时性的需求，这种需求要求快速响应和很快得出结果，如果每一个需求都需要写在代码文件中，然后编译打包上传再执行，就会非常浪费时间，尤其是...
大数据 hue 安装配置与其它框架的集成
weixin_34184561的博客
04-12 207
一： hue 的简介 二： hue 的安装与配置 三： 创建hue 与其它框架的集成 一： hue 的简介 Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Had...
Hue与其他软件的集成
qq_41369191的博客
12-10 319
集成HDFS 注意修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hdfs集群。 修改hadoop中core-site.xml配置： cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/ vi ./core-site.xml <!-- 允许通过httpfs方式访问hdfs的主机名 -->...
Hue安装及测试文档
wangjunji34478的专栏
12-19 2267
开始准备使用docker 的，但是官方镜像为Ubuntu 的，不是很方便， 但是docker file研究了一下，后面有时间再研究一下docker，docker 还是很好玩的。（这个花了一天时间）----放弃，但有收获，看看这奇葩的配置 docker run -tid --name huewajj --hostname dcp241 -p 8888:8888 -v /usr/h
CDH中 hive整合es 添加自定义的jar
dbdlz48088的专栏
02-07 558
1 临时生效 把elasticsearch-hadoop-2.4.1.jar 整合的jar上传到 hdfs的目录上 这样hive就可以访问es的数据了 2 永久生效 直接把Jar放到{HIVE_HOME}/lib/ 目录下 重启生效 我用的CDH我放到 /opt/apps/cloudera/parcel-repo/CDH-5.9.0-1.cdh5.9.0.p0.2...
大数据框架Hue架构介绍及安装教程
黑马程序员官方博客
01-04 2815
Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。
大数据系列-协作框架
07-31
综上所述，这四个组件——Sqoop、Flume、Oozie和Hue，共同构建了一个强大的大数据协作框架。Sqoop负责数据的导入导出，Flume处理实时数据流，Oozie协调工作流调度，而Hue则提供了直观的交互界面。这样的组合不仅简化...
IOS应用源码——颜色拾取器.zip
10-14
本压缩包“IOS应用源码——颜色拾取器.zip”包含了实现这样一个功能的源代码。以下是关于iOS颜色拾取器开发的相关知识点： 1. **色彩模型**： - iOS中的颜色通常使用RGB（红绿蓝）或HEX（十六进制）模型表示，但也...
IOS应用源码——颜色拾取器.rar
10-14
7. **模块化与可扩展性**：高质量的源码通常会考虑代码的模块化和可扩展性，使得开发者可以轻松地调整颜色选择器的行为，添加新功能，或者与其他项目集成。 8. **文档与示例**：为了便于其他开发者理解和使用，源码...
大数据Hue架构原理.pdf
10-14
大数据Hue架构原理.pdf
hue的架构图
tao_wei162的博客
10-26 1875
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据...
Apache Hue:详细介绍
12-09 6448
Apache Hue介绍 Hue是什么： HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统， 由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。 通过使用Hue， 可以在浏览器端的Web控制台上与Hadoop集群进行交互...
hue的简介及基本原理
FlizhN的博客
10-09 1万+
hue定义： HUE=Hadoop User Experience 个人理解：可视图的webui界面，方便大数据技术之间的CRUD操作。 官方定义：Hue是一个能够与Apache Hadoop交互的Web应用程序。一个开源的Apache Hadoop UI。 特性：一个HDFS的文件浏览器，一个MapReduce/YARN的Job浏览器，一个 HBas的浏览器，Hive，Pig，Cloudera Impala 和 Sqoop2 的查询编辑器。它还附带了一个Oozie的应用程序，用于创建和监控工作流程
hue操作kudu数据基本使用
程序员s的博客
03-22 3651
1.创建数据库(区分大小写) CREATE DATABASE IF NOT EXISTS POC_ENDING 2.创建表（） CREATE TABLE IF NOT EXISTS POC_ENDING.sdc( id string, name string, PRIMARY KEY (id) ) PARTITION BY HASH(id) PARTITIONS 12 S...
Hue框架简介
旧时明月
08-10 2352
官网:http://gethue.com/ 源码:http://github.com/cloudera/hue hue安装指南:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献
Hue 基础知识 详解
chenshun123的博客
01-31 2万+
Hue 是 Cloudera 的大数据 Web 工具 官方访问网站 : http://gethue.com/ GitHub : https://github.com/cloudera/hue 下载地址 : http://archive.cloudera.com/cdh5/cdh/5/ 1> 大数据协作框架 “大数据协作框架”其实是一个统称，实际上就是 Hadoop 2.X 生态系
HUE 4.1 源码解读及修改兼容中国移动苏研BCH1.3.4集群适应BCID认证体系
蓝星极盾
01-06 6100
由于工作需要，近期快速的对HUE进行了一番改造和处理，由于公司为中国移动提供服务，使用中国移动江苏研究院（简称苏研）的BC-hadoop，导致以前可以用的HUE没法使用。而国人开发的软件，大家都懂的，可用性、可操作性、稳定性都很差。HUE在大数据领域来说，其界面简洁，操作方便快捷，尤其是其集成的beeswax，支持的hive查询工具，非常好用，4.1版本又增加了explan......
大数据交互平台Hue的优势
热门推荐
ChainingBlocks
01-06 6万+
本文系统地讲解了Hue作为大数据分析交互平台的优势！欢迎批评指正！Hue Web应用的架构Hue 是一个Web应用，用来简化用户和Hadoop集群的交互。Hue技术架构，如下图所示，从总体上来讲，Hue应用采用的是B/S架构，该web应用的后台采用python编程语言别写的。大体上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC
import pymysql import pandas as pd import seaborn as sns import matplotlib.pyplot as plt # 设置中文字体支持 plt.rcParams["font.family"] = ["SimHei"] plt.rcParams["axes.unicode_minus"] = False # 解决负号显示问题 # 设置图片清晰度 plt.rcParams['figure.dpi'] = 100 def connect_mysql(): # 数据库连接配置 config = { 'host': 'localhost', 'port': 3307, 'user': 'root', 'password': '123456', 'database': 'ksh' } connection = None try: connection = pymysql.connect(**config) print('数据库连接成功') return connection except pymysql.Error as e: print(f'数据库连接出错: {e}') return None def clean_data(df): # 1、缺失值处理 isnull_count = df.isnull().sum().sum() if isnull_count > 0: df = df.dropna(how='any') print('已删除缺失值的行') else: print("数据中不存在缺失值") # 2、检查并删除重复行 duplicate_rows = df.duplicated() duplicate_count = duplicate_rows.sum() if duplicate_count > 0: df = df.drop_duplicates() print('已删除重复行') else: print('数据集中不存在重复行') # 3、数据类型转换 df["total_bill"] = df["total_bill"].astype("float64") df["tip"] = df["tip"].astype("float64") df["size"] = df["size"].astype("Int64") return df def analyse_data(df): #数据分析 # 1、按 sex 分组计算 total_bill 的总值 total_total = df.groupby('sex')['total_bill'].sum().reset_index(name='总消费') # 2、按 sex 分组计算 tip、total_bill 的均值 total_ave = df.groupby('sex')['total_bill'].mean().round(2).reset_index(name='总消费均值') tip_ave = df.groupby('sex')['tip'].mean().round(2).reset_index(name='小费打赏均值') # 3、按照 total_bill 的不同区间对数据进行分组，并计算每个区间的总消费 bins = [float('-inf'), 10, 20, 30, float('inf')] labels = ['< 10', '10 - 20', '20 - 30', '> 30'] df['bill_group'] = pd.cut(df['total_bill'], bins=bins, labels=labels) group_total = df.groupby('bill_group')['total_bill'].sum().reset_index(name='总消费') # 4、按 sex 分组计算 smoker 人数总计 is_smoker = df[df['smoker'] == 'Yes'].groupby('sex')['smoker'].count().reset_index(name='吸烟人数') not_smoker = df[df['smoker'] == 'No'].groupby('sex')['smoker'].count().reset_index(name='不吸烟人数') # 可视化图形 # 1、不同性别的总消费————饼图 plt.figure(figsize=(6, 4)) colors = ['pink','skyblue'] plt.pie(total_total['总消费'], labels=total_total['sex'], autopct='%1.1f%%', startangle=90, colors=colors) plt.title('不同性别总消费占比') plt.show() # 2、不同性别总消费和小费打赏情况————柱状图 merged_data1 = pd.merge(tip_ave, total_ave, on='sex') plt.figure(figsize=(6, 4)) bar_width = 0.2 index = range(len(merged_data1['sex'])) plt.bar(index, merged_data1['小费打赏均值'], bar_width, label='小费打赏均值', color='pink') plt.bar([i + bar_width for i in index], merged_data1['总消费均值'], bar_width, label='总消费均值', color='skyblue') plt.xticks([i + bar_width / 2 for i in index], merged_data1['sex']) plt.title('不同性别总消费和小费打赏情况') plt.xlabel('性别') plt.ylabel('金额') plt.legend() plt.show() # 3、不同消费区间可视化————条形图 plt.barh(group_total['bill_group'], group_total['总消费'], color='pink') plt.title('不同消费区间的总消费') plt.ylabel('消费区间') plt.xlabel('总消费') plt.show() # 4、用餐人数————小提琴图 plt.figure(figsize=(8, 6)) sns.violinplot(y='size', data=df, hue=None, palette='Set2', legend=False) plt.title('用餐人数分布小提琴图') plt.show() # 5、性别与是否吸烟的关系————热力图 merged_data2 = pd.merge(is_smoker, not_smoker, on='sex') merged_data2 = merged_data2.set_index('sex') merged_data = merged_data2[['吸烟人数', '不吸烟人数']] plt.figure(figsize=(8, 6)) sns.heatmap(merged_data2, annot=True, fmt='d', cmap='YlGnBu') plt.title('性别与是否吸烟的关系') plt.show() # 6、小费比例与聚餐人数的关系————点图 plt.figure(figsize=(8, 6)) sns.pointplot(x='size', y='tip', data=df, errorbar=('ci', 95)) plt.title('小费比例与聚餐人数的关系') plt.xlabel('聚餐人数') plt.ylabel('平均小费比例(%)') plt.show() # 7、总消费 vs 小费————散点图 plt.figure(figsize=(8, 6)) colors = ['#FF8C00', '#00008C'] sns.scatterplot(x='total_bill', y='tip', data=df, hue='smoker', palette=colors, size='size') plt.title('总消费 vs 小费') plt.xlabel('总消费金额') plt.ylabel('小费金额') plt.show() # 8、 总消费金额的时间趋势————折线图 grouped_data = df.groupby('day')['total_bill'].sum().reset_index(name='日均消费') plt.figure(figsize=(8, 6)) plt.plot(grouped_data['day'], grouped_data['日均消费'], marker='o') plt.title('按星期的总消费折线图') plt.xlabel('星期') plt.ylabel('总消费') plt.show() # 9、不同性别在一周内每天的总消费————条形图 grouped = df.groupby(['sex', 'day'])['total_bill'].sum().unstack() ax = grouped.plot(kind='bar') plt.title('不同性别在一周内每天的总消费') plt.xlabel('性别') plt.xticks(rotation=45) plt.ylabel('总消费') plt.legend(title='星期') plt.show() # 10、不同用餐时段的用餐人数分布————直方图 sns.histplot(data=df, x='size', hue='time', multiple='stack') plt.title('不同用餐时段的用餐人数分布直方图') plt.xlabel('用餐人数') plt.xticks(rotation=10) plt.ylabel('频次') plt.show() if __name__ == "__main__": connection = connect_mysql() if connection: try: with connection.cursor() as cursor: sql = "SELECT * FROM tips" cursor.execute(sql) results = cursor.fetchall() df = pd.DataFrame.from_records(results[1:], columns=results[0]) df = clean_data(df) analyse_data(df) except pymysql.Error as e: print(f'数据库查询出错: {e}') finally: connection.close() print('数据库连接已关闭')完善代码，将绘制的图可视化以动态图显示在页面上
最新发布
06-11
-Dash方案更简单，直接启动一个Dash应用即可，但它是独立的框架，如果已经有Flask应用，集成Dash可能需要额外的工作（或者将整个应用迁移到Dash上）。总结：用户可以根据自己的需求选择方案。如果已经在使用Flask...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值