hive 之start hiveServer2 ,thriftServer失败

Apache Kyuubi、Spark Thrift Server与Hive Server2 STS和HS2真可谓是一个复杂的历史,最开始的时候,Spark SQL的代码几乎全部都是Hive的照搬,随着时间的推移,Hive的代码被逐渐替换,直到几乎没有原始的Hive代码保留,具体的内容可以参考:Spark最开始打包的是Shark和SharkServer(Spark和Hive的结合体)。那个时候,这个结合体包含了大量的Hive代码。 阅读详情

hive 之start hiveServer2 ,thriftServer失败

报错信息如下:

ERROR org.apache.hive.service.cli.thrift.ThriftCLIService: [Thread-11]: Error starting HiveServer2: could not start ThriftBinaryCLIService

org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.

        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)

        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91)

        at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:87)

        at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:271)

        at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66)

        at java.lang.Thread.run(Thread.java:745)

解决办法:

查看日志发现:Hive.server2.thrift.port 10000端口被占用

[wangshumin@centoshostnameKL2 conf]$ netstat  -ltpn | grep 10000
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp        0      0 0.0.0.0:10000               0.0.0.0:*                   LISTEN      21725/java          
[wangshumin@centoshostnameKL2 conf]$ kill -9 21725

hiveserver2总是启动不起来 问题1:端口占用 启动情况如下 lcc@lcc conf$ lcc@lcc conf$ hive --service hiveserver2 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/Users/lcc/soft/hive/hive/lib/log4j-slf... 阅读详情

相关推荐

Spark 2.3.0 without-hive 对接 Hive 配置排错

在 Hadoop 大数据栈中,计算引擎与元数据服务解耦后,Spark 和 Hive 常共享 HDFS、YARN 与 Hive Metastore。理解 Spark on Hive 与 Hive on Spark 的依赖方向是关键:前者由 Spark 通过 hive-site.xml 连接 Metastore 并执行 SQL,后者由 HiveServer2 生成计划并调用 Spark 提交 YARN 作业。方向判断正确,才能避免 hive-exec、guava、libthrift 等 jar 冲突,提升 ad

weixin_34221332的博客 297

HBase Thrift Server无法启动

HBase Thrift Server无法启动 一、描述 安装Thrift Server服务启动时无法启动 二、图解 三、问题确定 查看Thrift Server组件日志,发现错误为Thrift Server已存在(端口被占用) 四、解决 修改Thrift Server端口号,然后重启 hbase.regionserver.thrift.port:19095 版权声明:本博客为记录本人自学感悟...

叁木大数据 2232

Hadoop+Hive+Spark构建电视剧收视分析系统

网络视频收视分析是大数据技术落地的典型场景,其核心在于将原始日志、元数据与第三方热度数据融合建模。原理上依赖HDFS的高吞吐存储、Hive的分区表与ORC列式优化实现高效结构化治理,再通过Spark内存计算完成用户路径还原、留存率建模与弹幕TF-IDF聚类等实时/准实时分析。该技术链路具备强可解释性与可调试性,广泛应用于毕业设计、平台级内容运营及智能推荐系统预研。本文聚焦电视剧题材爆发力识别、新剧留存归因与口碑拐点预测三大业务问题,深度融合Hive分区裁剪与Spark自适应查询优化等关键技术。

weixin_34200628的博客 313

小白也可以快速学会构建接入AI的线上应用,纯干货

首先给大家推荐一个比赛,感兴趣的可以参加,跟着我的教程百分百能做出作品。奖金很丰厚,值得一试。https://h.datafuntalk.com/EsTvpL在信息爆炸的时代,旅行规划早已不再是翻阅几本旅游指南就能完成的任务。面对海量的景点、住宿、交通和美食信息,用户往往陷入“选择困难症”。而传统旅游平台提供的“千人一面”推荐,难以满足个性化需求。AI旅行管家的出现,正是为了解决这一痛点。它能够:在本篇深度教程中,我们将从零开始,构建一个功能完整的AI个性化旅游规划管家,使用 Qwen2-7B-Instru

7万+

Hadoop+Spark本地伪分布式沙盒搭建指南

大数据开发环境搭建是理解Hadoop、Spark等分布式计算框架的核心实践环节。其本质是通过配置HDFS、YARN(或简化模式)、Spark SQL与Hive元数据服务,构建可验证的本地执行闭环。关键技术点包括版本兼容性控制、XML配置文件精准调优、Hive Metastore持久化及Spark-Hive集成机制。该能力直接支撑ETL开发、SQL作业调试、故障模拟等典型工程场景,广泛应用于高校大数据教学实训与工程师本地化开发验证。本文聚焦‘伪分布式’这一轻量级但高保真的部署形态,覆盖Hadoop 3.3.6

weixin_30357231的博客 334

【雷达图】R语言绘制雷达图(ggradar),NBA季后赛数据为例

一起用R语言给nba球星画球技雷达图吧!

池塘春草梦的博客 6252

零基础实战:从零搭建Hadoop+Hive+SparkSQL大数据集群全流程

大数据技术栈是现代数据处理的基石,其核心原理在于通过分布式存储与计算框架,实现对海量数据的高效管理与分析。Hadoop作为开源生态的基石,提供了可靠的分布式文件系统HDFS和资源调度器YARN,奠定了大规模数据存储与并行计算的基础。其技术价值在于能够以低成本商用硬件集群,处理传统数据库难以胜任的PB级数据,广泛应用于日志分析、用户行为挖掘和商业智能等场景。Hive在此基础上,通过将SQL转化为MapReduce或Tez任务,降低了大数据查询的门槛,让数据分析师能够使用熟悉的语法进行操作。而SparkSQL凭

weixin_33912246的博客 362

MATLAB实战:手把手教你实现Gardner环路位同步(附完整代码)

本文通过MATLAB实战,详细讲解了Gardner环路位同步算法的原理与实现。内容涵盖插值滤波器、定时误差检测、环路滤波器与数控振荡器等核心模块,并提供完整代码和调试技巧,帮助读者掌握数字通信中关键的符号定时同步技术。

weixin_29048775的博客 175

Hadoop生态底层逻辑:分布式存储与计算的工程权衡

分布式文件系统与大数据计算框架是应对单机存储和算力瓶颈的基础技术方案。其核心原理在于通过数据分片、副本冗余、任务调度与容错机制,在廉价硬件上构建高可用、可扩展的数据处理基础设施。技术价值体现在吞吐优化、故障自愈与多引擎协同,广泛应用于日志分析、用户行为建模、实时报表等典型场景。本文深入剖析HDFS副本策略、YARN两级调度、Spark DAG执行等关键设计,揭示组件间‘契约式协作’的本质,帮助工程师跳出配置表象,理解大数据基建的真实约束与工程取舍。

weixin_34054931的博客 383

一文了解ECU软件刷写的2种方法:Bootloader刷写和调试器刷写

分为刷写前、刷写中和刷写后三个阶段,如下示意:下面我们来详细了解一下Bootloader收到外部请求后开始刷写的三个阶段1)刷写前进行刷写的准备,一是确保刷写阶段总线通信的稳定性,二是避免刷写阶段出现非预期的故障,三是读取车辆数据供刷写前的一些检查等,如下所示:首先进行会话控制,通过功能寻址方式进入扩展会话模式,为后面的信息访问及其他指令做准备;然后检查刷写的前提条件,通过物理寻址方式发送历程控制请求。比如车确实处于静止状态,供电电压稳定等条件下才允许刷写;

menghuyouyou的博客 5788

【ArcGIS Pro微课1000例】0067:ArcGIS Pro3.4.2学习版下载及安装教程

【ArcGIS Pro微课1000例】0067:ArcGIS Pro3.4.2学习版网盘下载及安装教程

智慧空间实验室 2389

用 dbt 构建 Apache Hudi 数据湖模型:从环境搭建到 CDC 增量管线的完整实战指南

本文以 Apache Hudi 仓库中的 [hudi-examples-dbt 示例项目](https://link.gitcode.com/i/1a373f8c93cac8eee4f53bd55dcb6bd7)为主线,完整讲解如何用 dbt(data build tool)将模型直接物化为 Hudi 数据集:从 Python 虚拟环境安装 `dbt-spark`、配置 Spark Thrift

gitblog_00138的博客 214

生产环境中redis的SCAN命令如何替代KEYS命令?

本文介绍了使用SCAN命令替代KEYS的完整方案。SCAN通过游标分批迭代,避免KEYS命令遍历整个键空间导致的阻塞风险。文章详细说明了SCAN的基础语法、迭代流程和Java实现示例,强调必须关闭Cursor避免连接泄漏。针对生产环境,提供了COUNT参数调优、客户端去重、集群模式适配等优化建议,并列举了典型错误场景。SCAN通过分批次迭代和游标管理,可安全实现高性能键空间遍历。全文150字。

DN金猿的博客 179

大数据集群VIP负载均衡:原理、避坑与高可用实战

Virtual IP(VIP)是分布式系统实现高可用的核心基础设施,其本质是通过地址抽象屏蔽后端节点变化,保障服务连续性。在大数据场景中,VIP不仅承担流量分发功能,更深度耦合于ZooKeeper协调、客户端Failover机制及组件原生HA协议。区别于传统Nginx或LVS的通用负载均衡,大数据VIP需感知NameNode状态、Kafka Broker角色、Flink JobManager选举等应用层语义,否则将导致连接假活、元数据错乱与脑裂风险。技术价值在于降低RTO至亚秒级、解耦客户端与物理拓扑、支撑

weixin_34080951的博客 413

手把手教你完成基于YOLOv8的水果/商品/食堂/蔬菜/饮料/书籍识别与计价系统,前台+后台管理系统

手把手教你完成基于YOLOv8的商店的水果/商品/食堂/蔬菜/饮料/书籍识别与计价系统,前台+后台管理员系统,可进行目标检测的操作和展示,实现对图片、视频和摄像头的实时目标检测

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 2459

异步处理优化:多线程线程池与消息队列的选择与应用

本文讨论了两种常见的异步处理方式:多线程线程池和消息队列(MQ)。通过将非核心逻辑异步化,可以提升系统的性能和响应速度。多线程线程池适用于本地并发任务,适合需要快速响应的场景,但无法处理跨服务任务。消息队列则适用于分布式系统,能够解耦服务并保证任务的可靠性和顺序性,适合处理高并发和高可靠性要求的任务。文章提供了实际代码示例,帮助开发者根据业务需求选择合适的异步处理方式。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 170万+

已解决java.lang.RuntimeException: 运行时异常的正确解决方法,亲测有效!!!

已解决java.lang.RuntimeException: 运行时异常的正确解决方法,亲测有效!!!

小明的Java问道之路 1万+

ABAP Channels 实战:在 ABAP 7.40 中用 WebSocket 打造实时双向通信

本文详细介绍了SAP ABAP 7.40引入的ABAP Channels通信框架,包含AMC(ABAP Messaging Channels)和APC(ABAP Push Channels)两部分。AMC作为应用服务器内部的消息总线,支持发布/订阅模式,可实现跨会话实时通信;APC基于WebSocket协议,用于浏览器等客户端与ABAP服务器的双向实时交互。文章通过一个乒乓球游戏案例展示了ABAP Channels的实时协作能力,并详细解析了AMC的配置方法、消息发送与接收的代码实现,帮助开发者理解如何利用

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 224

hive启动失败报错

实测命令可以解决:hive --skiphbasecp --service hiveserver2       转发   环境说明 hadoop-2.7.4 hive-2.3.2 hbase-1.4.2 jdk1.8.0_161 问题现象 原先启动hiveserver2和metastore的两个服务一直运行状况良好,重启这个两个服务后都出现如下异常信息 启动命令示例:h...

Q41881106的博客 2253

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

HIVESERVER2 服务启动失败

HIVESERVER2 服务启动失败 HIVESERVER2 服务启动失败出现的现象: 1、 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.metadata.HiveException 2、会导致HIVE METASTORE 也失败 原因可能有几方面: 1、10000、9083端口被占用 2、mysql 连接不上 3、hive jar 包有问题 解决 1、排查端口占用情况,若存在端口占用,修改hive-s

a123147abc的博客 6583

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

hiveserver2启动失败,报Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.

1启动hiveserver2时候报错 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0 Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecate...

weixin_37796929的博客 2179

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Hiveserver2无法启动解决方法

1.第一种可能的问题是内存不足导致,清除不组要的日志文件。 2.端口号被占用,lsof -i:10000查看端口号占用情况,kill -9 10000杀掉端口号重新启动hiveserver2; 3.hdfs文件系丢失文件,hadoop fsck /查看hadoop状态,显示出现The filesystem under path '/' is CORRUPT代表处于安全模式; 解决:输入hadoop dfsadmin -safemode leave, hdfs fsck / -delete ...

weixin_45339834的博客 7855

Hive源码剖析之HiveServer2服务启动过程

一、前言     前段时间用Hive JDBC出现了阻塞问题,客户端一直处于等待状态,为了解决该问题,花了几天研究了Hive源码,于是准备写成系列博文,与大家分享其中的心得。有不当之处,请大家更正。 二、背景     我们生活在一个数据的时代,我们在经意与不经...

dong_lxkm的博客 2010
上一篇: hive加载json数据和解析json
下一篇: hive 之start hiveServer2 ,thriftServer失败
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值