Hive高级部分1

最新推荐文章于 2021-07-24 16:18:47 发布
原创 最新推荐文章于 2021-07-24 16:18:47 发布 · 335 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Hadoop生态系统的各种组件如HDFS、Yarn、Zookeeper、Hbase、Hive、Spark等的常用端口，以及Hive的高级用法，包括HiveServer2与Beeline配合、Java API操作、复杂数据类型处理和SQL执行计划分析。此外，还提到了数据压缩在大数据处理中的作用和压缩技术的应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

常见端口汇总：

Hadoop：    

    50070：HDFS WEB UI端口

    8020 ： 高可用的HDFS RPC端口

    9000 ： 非高可用的HDFS RPC端口

    8088 ： Yarn 的WEB UI 接口

    8485 ： JournalNode 的RPC端口

    8019 ： ZKFC端口

   19888：jobhistory WEB UI端口

Zookeeper:

    2181 ： 客户端连接zookeeper的端口

    2888 ： zookeeper集群内通讯使用，Leader监听此端口

    3888 ： zookeeper端口 用于选举leader

Hbase:

    60010：Hbase的master的WEB UI端口 （旧的） 新的是16010

    60030：Hbase的regionServer的WEB UI 管理端口    

Hive:

    9083  :  metastore服务默认监听端口

    10000：Hive 的JDBC端口

Spark：

    7077 ： spark 的master与worker进行通讯的端口  standalone集群提交Application的端口

    8080 ： master的WEB UI端口  资源调度

   

最低0.47元/天 解锁文章

200万优质内容无限畅学
[Hive]那些年我们踩过的Hive坑
SmartSi
06-12 3万+
（1）问题一  首先，采用这个命令： hive -hiveconf hive.root.logger=DEBUG,console 可以查看详细信息然后分析可知，缺少mysql的jar包，下载mysql-connector-java-5.1.32.tar.gz，并进行一下操作。 下一步操作，添加jar包： （2）问题二
hive之入门配置
&volume的博客
05-04 4433
学习hive之路就此开启啦，让我们共同努力。
Hadoop、Hive、Hbase常用端口大全
zp17834994071的博客
09-02 1万+
前面所说的hadoop、hive、hbase中会遇到各种端口，有的是默认的，有的是启动时要配置的端口，那么具体的端口对应的是哪个呢，配置参数又是什么呢？今天给大家整理下。 首先说下hadoop中的常用端口： 在此之前，先说下启动tomcat的端口，我想大家都不陌生，在IDEA上发布Java工程项目到Tomcat上使用的就是8080端口，不知道大家还有没有印象,还有我们设置的免密ssh，端口是22. hadoop中的常用端口 HDFS中的端口 内部可使用端口 YARN相关端口 Hive相关端口 Hba
Hadoop 1.X & Hadoop 2.X 默认端口对比
二十三小时
11-02 2123
1，Hadoop 2.X 默认端口 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS Data
Hive的内置服务和hiveserver/hiveserver2的比较
u013061459的博客
06-19 6595
一：Hive的几种内置服务              执行bin/Hive --service help  如下：       [html] view plain copy [master@master1 hive]$ bin/hive --service help   ls: 无法访问/opt/spark/lib/spark-ass
启动./hiveserver2查看10000端口 使用beeline连接服务
大JAVA解决方案
03-12 8990
Last login: Mon Mar 12 10:14:30 2018 from 192.168.72.200[wangshumin@centoshostnameKL2 ~]$ netstat -ntlp(Not all processes could be identified, non-owned process info will not be shown, you would have ...
Hive编程指南+HIVE从入门到精通+Hive高级编程+Apache Oozie
11-15
**Hive高级编程** 高级编程涉及更复杂的Hive使用场景和技巧： 1. **窗口函数**: 使用Lag、Lead、Rank、RowNumber等函数进行时间序列分析和排名。 2. **多层嵌套查询与子查询**: 处理复杂的数据关系，如递归查询、...
Hive高级编程
06-05
### Hive高级编程知识点详解 #### 一、Hive概述与组件 Hive 是一个基于 Hadoop 的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能，使得 Hadoop 上的数据可以被传统的 BI 工具...
Hive高级用法01-hive调优
小梁
07-24 1971
文章目录1. 查看执行计划    1.1 执行计划有什么用:    1.2 怎么查询执行计划    1.3 简单示例2.建表优化      2.1 建分区表         2.1.1 什么是分区表   &nbs
Hive高级编程经验分享.pdf
12-25
Facebook开发的Hive包含了多个关键部分，如HDFS（Hadoop Distributed File System），它是Hadoop生态系统中的分布式文件系统，为Hive提供了存储基础。Hive CLI（Command Line Interface）是用户与Hive交互的主要方式...
Hive高级
myt0929的专栏
07-29 636
  Hive是一个客户端的概念，不存在集群的概念。所以没有概念说Hive有集群。不过可以部署一台两台的Hive Service 2，用来让客户端连接，提交Hive的作业。 一、Hive的操作的方式 1.1 HiveService 2   HiveService2是一个服务，使得客户端可以查询提交作业。客户端有哪写呢？beeline/webui/Java API等等。   启动方式： ...
confluence安装_Hive(二) 安装与配置
weixin_39540725的博客
11-26 236
Hive安装与配置Hive安装配置Hive官网：http://hive.apache.org下载地址：http://archive.apache.org/dist/hive/文档网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManualimage.png使用安装包：1#hive安装包2apache-hive-2...
Hadoop, HBase, Hive, ZooKeeper默认端口说明
热门推荐
蘑菇丁的专栏
10-21 1万+
Hadoop, HBase, Hive, ZooKeeper默认端口说明 组件 Daemon 端口 配置 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输     50075 dfs.datanode.http.address http服务的端口  
hive:后台启动、和脚本化运行
琦彦
09-25 1万+
hive使用方式 最基本使用方式 启动一个hive交互shell bin/hive hive> 设置一些基本参数，让hive使用起来更便捷，比如： 让提示符显示当前库： hive>set hive.cli.print.current.db=true; 显示查询结果时显示字段名称： hive>set hive.cli.print.header=true;...
hive中的坑(持续更新中)
没有合适的昵称
10-21 1151
Error: org.apache.spark.sql.AnalysisException: java.lang.IllegalArgumentExceptio ...
Hive简易教程
qq_30982323的博客
07-06 7344
这里已经默认你的系统成功安装Hive。 1. 使用Hive 在HDFS上创建Hive所需路径/tmp和/user/hive/warehouse hadoop fs -mkdir /tmp hadoop fs -mkdir /user/hive/warehouse 修改上述路径的访问权限，使用户组具有写入权限 hadoop fs -chmod g+w /tmp hadoop fs -c...
hive中metastore三种存储方式
07-25 1592
1、hive中metastore存储方式：       嵌套方式： 使用内置derby数据库，同一时间仅限一个hive cli环境登录       本地mysql存储方式： 采取外部mysql数据库服务器，支持多用户连接模式，通过设置hive.metastore.local 为true实现。
Hive高级编程与MapReduce解析
“Hive高级编程，包括Hive组件、MapReduce、HiveQL、Hive优化和SQL优化，深入解析Hive在大数据处理中的应用。” Hive是一个基于Hadoop的数据仓库工具，它允许通过类SQL语言（HiveQL）对存储在HDFS上的大规模数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值