Launch Hive Server2

原创 已于 2023-10-10 09:29:28 修改 · 置顶 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hive

于 2021-11-22 15:28:28 首次发布
本文介绍了如何启动Hive Server2以及其Web UI的使用。Hive Server2是Hive的服务接口，允许远程客户端执行SQL请求。文章详细讲述了配置Hive和Hadoop的相关设置，启动Hive Server2，验证通过Beeline连接，并提到了HiveServer2相较于HiveServer的改进，包括并发请求支持和更好的API兼容性。

序言

在搞定了Hive服务的环境搭建后.我们需要启动Hive Server2 来供我们的程序提交任务,以及获取到相关的返回结果.HiveServer2 提供了一个简单的 WEB UI 页面，在页面中我们可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息.

​ HiveServer2是一个服务接口，能够允许远程的客户端去执行SQL请求且得到检索结果。HiveServer2的实现，依托于Thrift RPC，是HiveServer的提高版本，它被设计用来提供更好的支持对于open API例如JDBC和ODBC。

这些服务都是Hive的内置服务,只需要一些简单的配置后就可以使用cuiyaonan2000@163.com

配置文件

Hive Server2

一般用默认的就好了hive-site.xml

配置项

默认值

说明

hive.server2.transport.mode

binary

HiveServer2 的传输模式，binary或者http

hive.server2.thrift.port

10000

HiveServer2 传输模式设置为 binary 时，Thrift 接口的端口号

hive.server2.thrift.http.port

10001

HiveServer2 传输模式设置为
最低0.47元/天 解锁文章
Hive学习之HiveServer2服务端配置与启动
skyWalker_ONLY
08-01 5万+
在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveServe
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
予挚之的博客
06-08 4696
这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是 CDH 平台的话，单是 hive 服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文，前面的升级步骤基本一致，但是升级过程只有我遇到了这些问题吗？单拎出来这些报错，度娘多多少少还是可以找到一些类似的解决方案，不过经过博主测试，都不能解决出现的问题，因此才有了此篇博文，当然最后也完美解决了所有问题，不保证后面使用过程中是否会出现问题，因为还没有进一步测试，但是升级和使用，是没有问题的。！
【问题记录】hiveserver2 提交SQL任务慢原因排查
ChengYanan的博客
05-15 840
同样一个SQL，在hive cli执行，提交了SQL之后立马就会提交到Yarn上，但是通过hiveserver2 提交，就会经过很长一段时间才会提交到Yarn上，甚至有时候直接报错time out。
python连接hiveserver2_使用python来操作hive(通过pyhs2和HiveServer2)
weixin_33150295的博客
02-04 611
HiveServer2为客户端在远程执行hive查询提供了接口，通过Thrift RPC来实现，还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2，实现查询和取回结果的操作。pyhs2的项目托管在github之上，地址为https://github.com/BradRuderman/pyhs2可通过以下方式来安装：easy_install...
Hive Server2（五）
weixin_30595035的博客
08-20 735
HiveServer2 基本概念介绍 1、HiveServer2基本介绍 HiveServer2 (HS2) is a server interface that enables remote clients to execute queries against Hive and retrieve the results (a more detailed intro here). The...
Hiveserver2 性能优化与GC优化
mnasd的博客
09-13 1万+
一、问题描述 开发者利用jdbc连接hiveserver2（或者利用jdbc连接 spark HiveThriftServer2，由于两者都是提供jdbc连接到hive，因此，后面都统一称为利用jdbc连接hiveserver2），执行简单查询、复杂分析、超复杂分析等不同的sql任务，session并发量还很高（五六百甚至上千的并发），本质上要求大数据平台同时具备oltp的高并发与olap的高分...
Hive Description And Launch The Service
难得糊涂
04-22 1232
序言 使用Hive主要是用于离线批量计算，或者称为数据仓储的工具。 因为它最主要的特点是，能够将SQL自动转换成MapReduce任务。而MapReduce又是运行在HDFS上的，有YARN管理的多个MapReduce任务的集合。 官方网址：https://cwiki.apache.org/confluence/display/Hive/Home 概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转..
hive执行insert into失败
qq_42239767的博客
08-31 795
然后停止hdfs-stop.sh,启动hdfs-start.sh,然后停止yarn-stop.sh,启动yarn-start.sh,然后重启bin/hive解决！
Hive性能提升秘籍：从Hive on MR到Hive on Spark的深度实践
u010192213的博客
11-13 893
主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤可参阅之前内容。
大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?
明哥的IT随笔
09-22 2250
CDP中如何做到不同业务用户的 HIVE 作业提交到不同的 YARN 队列，以达到资源隔离的目的？
生产环境踩坑系列::Hive on Spark的connection timeout 问题
艺术码农农场
07-18 3519
起因 7/16凌晨，钉钉突然收到了一条告警，一个公司所有业务部门的组织架构表的ETL过程中，数据推送到DIM层的过程中出现异常，导致任务失败。 因为这个数据会影响到第二天所有大数据组对外的应用服务中组织架构基础数据，当然，我们的Pla-nB也不是吃素的，一旦出现错误，后面的权限管理模块与网关会自动配合切换前一天的最后一次成功处理到DIM中的组织架构数据，只会影响到在前一天做过组织架构变化的同事在系统上的操作，但是这个影响数量是可控的，并且我们会也有所有组织架构变化的审计数据，如果第二天这个推数的ETL修复不
Hiveserver2的代理执行之路
热门推荐
Hello World
02-10 1万+
hiveserver2的代理访问可以使得平台端代理任意用户执行SQL操作就像该用户自己执行的操作一样（就像一个普通用户直接使用hive CLI执行操作），本文主要探索hiveserver2是如何使用代理的方式实现支持不同用户完成SQL操作，为修改impala支持对应的操作做铺垫。
Hive源码剖析之HiveServer2服务启动过程
dong_lxkm的博客
08-27 1964
一、前言     前段时间用Hive JDBC出现了阻塞问题，客户端一直处于等待状态，为了解决该问题，花了几天研究了Hive源码，于是准备写成系列博文，与大家分享其中的心得。有不当之处，请大家更正。 二、背景     我们生活在一个数据的时代，我们在经意与不经...
Hadoop、Spark、HBase与Redis的适用性见解
难得糊涂
05-07 8907
问题导读：1.你认为Hadoop适用什么场景？2.Spark适用于什么场景？3.HBase与 Redis各有什么特点？最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下H...
大数据技术生态圈讲解
难得糊涂
05-04 6678
HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。 HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代...
Hadoop、MapReduce、YARN和Spark的区别与联系
难得糊涂
05-08 5703
（1）Hadoop 1.0第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。（2） Hadoop 2.0第二代Hadoop，为克服Hadoop 1....
Hive On Spark
难得糊涂
11-30 5217
序言 之前写的一篇Ⅰ.今天看了一下感觉有很多不完善和错误的地方.这里在写一篇cuiyaonan2000@163.com 两者可以结合一起看用于理解学习 Hive On Spark 这个意思是将Hive的执行引擎替换成spark. 默认的是MR,且我们在启动Hive的时候会看到如下的内容(所以我们应该用spark来做为执行引擎cuiyaonan2000@163.com) 既然要换成spark,那我们知道Hadoop自带的Mr是不能用了,且不包含spark的相关服务,所以配置修改,增加spa.
Hbase数据管理工具
难得糊涂
04-16 4891
序言 主要目的就是使用一个可视化的数据管理工具来查看hbase上的表内容。 目前绝大多数的工具都是私人制作的，所以直接在工具上进行增删改查可能有点欠缺。 工具有很多，持续更新吧，直到遇见一个功能比较全的。 HbaseXplorer 官方网址：https://github.com/bit-ware/HBaseXplorer/downloads 事实证明该工具在2012年就停止更新了，在启动的时候直接报错，就放弃了cuiyaonan2000@163.com~~~~ 下载版本 ..
HDFS简介与部署
难得糊涂
04-09 4246
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。
hive on spark 提交到yarn，有时候创建[42000][40000] Error while compiling statement: FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session 32769689-826a-4987-9bd3-5d7b927b887b 失败，yarn也没有任何相关的任务
最新发布
05-29
<name>hive.server2.logging.operation.level <value>VERBOSE ``` 2. **检查Spark客户端连接超时** 调整超时参数（单位：毫秒）： ```xml <name>hive.spark.client.connect.timeout <value>30000 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cuiyaonan2000

给包烟抽吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值