hive 启动元数据服务(metastore和hiveserver2)和优雅关闭脚本

南京大数据开发实战:基于Flink与Iceberg构建实时用户行为分析平台 实时数据处理是现代大数据架构的核心能力,其原理在于对持续产生的数据流进行低延迟的采集、处理与分析,以支持秒级甚至毫秒级的业务决策。这项技术的核心价值在于将数据处理从传统的T+1批处理模式,升级为能够即时响应业务变化的实时模式,广泛应用于实时风控、实时推荐、物联网监控和运营看板等场景。Apache Flink作为当前流处理领域的事实标准,凭借其高吞吐、低延迟和精确一次(Exactly-Once)语义保障,成为构建实时数据管道的首选。而数据湖技术,如Apache Iceberg,通过提供开放的表格格式和ACID 阅读详情
hive 启动元数据服务(metastore和hiveserver2)和优雅关闭脚本
hive.sh
#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs

mkdir -p $HIVE_LOG_DIR

#检查进程是否运行正常,参数1为进程名,参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

启动: hive.sh start
关闭: hive.sh stop
重启: hive.sh restart
状态: hive.sh status
国产蓝牙MCU选型避坑指南:从汇顶到杰理,这7家厂商的实测体验 本文基于一线开发者对汇顶、泰凌微、沁恒、博通集成、奉加微、杰理、翱捷等七家主流国产蓝牙MCU厂商的实测体验,提供了一份详实的选型避坑指南。文章不仅对比了各厂商芯片的SDK质量、文档、开发工具与技术支持等“软实力”,还深入剖析了实际开发中可能遇到的功耗、射频、版本兼容性等核心痛点,并针对不同项目需求给出了具体的选型决策建议,旨在帮助工程师高效完成国产蓝牙MCU选型。 阅读详情

相关推荐

概率论基础-严士健 第二版 习题与补充1.6答案

概率论基础-严士健 第二版 习题与补充1.6答案 1.不独立。 设有一均匀正八面体,其第1,2,3,4面染红色,第1,2,3,5面染白色,第1,6,7,8面染黑色,现在以A,B,C分别表示投一次正八面体出现红、白、黑的事件,则 P(A)=P(B)=P(C)=12.P(A) = P(B) = P(C) = \frac{1}{2}.P(A)=P(B)=P(C)=21​. P(ABC)=18=P(A)P...

weixin_42341993的博客 2516

如何优雅的关闭HiveMetaStore服务进程

最近在自己电脑配置了spark与hive的集成 避免不了用到hive metastore服务 但是这个鬼东西开启容易关闭难 索性写了个脚本 可以一键关闭 思路是从kafka关闭脚本获取到的 1.在hive的安装目录下的/bin执行 touch stop-metastore.sh #创建脚本文件 chmod 777 stop-metastore.sh #给文件赋权 2.在创建的...

CanonL 5384

Office 365部分安装及同时安装Visio的方法

From MWeb Win版本的Office 365安装包默认安装所有组件,没有选择的页面,在安装Office 365后再安装下载的Visio 2016专业版时,会显示计算机上已经安装了即插即用Office,Visio不可安装,因此可以考虑使用Office部署工具来解决这两个问题。 下载安装Office365和Visio 下载Office部署工具 修改配置 部署工具使用方法...

weixin_30737363的博客 2万+

hive metastore 、hiveserver2 服务启停脚本

hive metastore 、hiveserver2 服务启停脚本

想练武,就得下功夫 1419

Transformers在自动驾驶领域的应用(High-level like in scene)

Transformers uses global attention mechanism to capture long-range interaction information. Two core modules in Transformers are Self-Attention and Cross-Attention, which defined asAttn(Q,K,V)=softmax(QK⊤dk)VSelfAttn(X)=Attn(WQX,WKX,WVX)CrossAttn(X,Y)=Attn

qq_39337332的博客 1776

EPLAN电气设计精华 -模拟量传感器画法全解

本文介绍了EPLAN中模拟量压力传感器的标准画法要点,重点解析了电流型(4-20mA)、电压型(0-10V/0-5V)和特定应用型三种传感器的核心特点、典型符号、接线方式及应用场景。文章提供了EPLAN设备标识符示例,并分享了一个实际项目案例(XJC-Y01-20-4M传感器配合XJC-608T-F变送器和GSEE.GXLK-AI4S-I模块的应用),强调绘制前查阅技术资料的重要性。内容简明实用,有助于规范电气设计中的传感器绘制。

Qinmingyue13的博客 1183

Hive的安装与配置

1.官网下载 目录 1.官网下载安装包 2.Hive的安装与启动 一、Hive安装 二.Hive的启动 3.元数据更换为MYSQL 1.安装mysql 2.配置Hive元数据保存到MYSQL 4.使用元数据库服务的方式访问Hive 远程模式部署hive的metastore服务 1.使用Hive CLU连接metastore服务 2.使用BeeLine CLI连接metastore服务 5.编写Hive启动脚本 安装包 官网地址:https://hive.apache.or.

weixin_46305053的博客 3009

遥感图像融合实战:5分钟搞懂全色与多光谱图像如何提升分辨率(附Python代码)

本文通过实战案例,详细解析了如何利用全色锐化技术融合全色与多光谱遥感图像,以提升图像分辨率。文章深入浅出地介绍了核心概念、环境配置、经典GS融合算法的Python代码实现,并对比了不同算法的优劣,最后提供了效果评估方法与实战陷阱分析,帮助读者快速掌握遥感图像融合的关键技术。

weixin_29041195的博客 396

hive中metastore服务、hiveserver2服务、hive客户端、beeline客户端连接元数据的方式

1.前言 hive是Hadoop的客户端,启动hive前必须启动hadoop,同时hive的元数据存储在mysql中,是由于hive自带的derby数据库不支持多客户端访问。 2.开启metastore服务的参数 hive-site.xml中打开metastore的连接地址。 <!-- 指定存储元数据要连接的地址 --> <property> <name>hive.metastore.uris</name> <va

不爱吃鱼的馋猫 7574

UE5、CesiumForUnreal实现加载GeoJson绘制多面(MultiPolygon)功能(支持点选高亮)

UE5、CesiumForUnreal实现加载GeoJson实现多面(MultiPolygon)的绘制功能,并且支持点选高亮和属性查询。

专注GIS开发 4629

LeRobot 入门教程(十一)π0(Pi0)π0.5(Pi0.5)训练、推理、部署

本文介绍了Physical Intelligence公司开发的π₀和π₀.₅系列通用机器人控制视觉-语言-动作模型。π₀作为首款基础模型,融合流匹配、跨实体训练等技术,支持50Hz高频控制。π₀.₅是其升级版,通过异构数据协同训练解决开放世界泛化问题,在Libero基准测试中表现优异。文章详细说明了两个模型的安装要求、使用方法、训练策略及关键参数配置,包括混合精度训练、梯度检查点等优化技术,为机器人在多样化场景中的语义理解和动作控制提供了完整解决方案。

2506_90492529的博客 5053

hiveserver2后台启动及关闭

1 hiveserver2启动脚本 我的hiveserver2启动脚本仅供参考: #!/bin/bash echo "=========================开启metastore=========================" nohup hive --service metastore >/opt/module/logs/hive/hive.log 2>&1 & sleep 10s echo "=========================开启hives

技术探求 8334

手把手教你学Simulink——基于Simulink的Boost变换器电流模式控制(峰值电流控制)建模示例

本文详细介绍了基于Simulink的Boost变换器峰值电流模式控制建模方法。首先分析了Boost变换器在CCM模式下的工作原理及电流控制优势,重点阐述了斜坡补偿的必要性。通过分步指导搭建Simulink模型,包括主电路、电流采样、RS触发器和电压外环PI控制器等核心模块。仿真验证了系统在启动、负载突变和输入电压跌落等工况下的优异性能,输出电压稳定在48V±0.5V。文章还总结了工程实践要点,并提出了数字实现等扩展方向。该建模方法为电力电子高级控制策略的工程验证提供了有效途径。

MHD0815的博客 249

Hive元数据服务(Metastore & HiveServer2)启停脚本设计与优化

本文分享了一个Hive服务一键启停脚本,解决了手动操作繁琐、关闭粗暴等问题。脚本通过[h]正则匹配精准查找进程,支持TERM/INT信号优雅关闭,自动管理日志输出。启动顺序为先Metastore后HiveServer2,关闭则相反。使用方式简单,只需./hive.sh start/stop即可完成服务管理,提升大数据开发效率。该脚本已在生产环境验证,能有效避免元数据损坏和连接泄漏问题。

记录学习点滴,分享实战干货,一起奔赴技术之路 421

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

[ SHELL ] 如何用shell脚本优雅的启动Hive的metastore和hiveserver2!

一、编写脚本文件hive.sh #!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs mkdir -p $HIVE_LOG_DIR #检查进程是否运行正常,参数1为进程名,参数2为进程端口 function check_process() { pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}') ppid=$(netstat -nltp 2>/dev/nul

且陶陶。 552

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

【Hive 运维实战】一键管理 Hive 服务:Metastore 与 HiveServer2 控制脚本开发与实践

管理Hive的metastore和hiveserver2服务的启动、停止和状态查询

Cy513841863的博客 576

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

hive操作

hive简单操作

m0_60600640的博客 489

Hive服务管理终极指南:手把手教你编写hiveservices.sh脚本

本文提供了一份Hive服务管理终极指南,手把手教你编写健壮的hiveservices.sh脚本。文章深入剖析了Hive Metastore和HiveServer2两大核心服务的管理痛点,并详细讲解了如何通过脚本实现服务的自动化启动、停止、状态检查与日志管理,旨在提升数据仓库的运维效率和系统可靠性。

rrr55的博客 209

Hive批量删除分区:从IN、BETWEEN到自动化脚本的工程实践

在大数据平台中,数据分区管理是提升查询效率与存储优化的重要技术手段。其核心原理是通过将数据按特定维度(如时间、地域)物理隔离,实现查询时的数据剪枝,从而大幅减少I/O开销与计算资源消耗。这一技术对于构建高性能数据仓库至关重要,尤其在处理海量历史数据归档、测试环境清理等场景时,高效的批量分区操作能显著降低对元数据服务的压力,保障生产环境稳定性。本文将聚焦Hive数据仓库场景,深入解析如何运用IN子句、BETWEEN范围操作及LIKE模式匹配等多种SQL语法,结合Shell脚本实现自动化、低风险的批量分区删除方

weixin_33700350的博客 347

Cursor AI 插件突破免费限制教程:3 步重置机器 ID,免费解锁 Pro 全部功能

写代码写到一半,弹出一句"这台机器已经用过太多免费试用账号"?这正是 Cursor 类 VS Code AI 插件最常见的卡点。开源项目 cursor-free-vip 专门解决这件事:重置机器标识 + 临时邮箱自动注册,5 分钟跑通一遍,把 Pro 的完整额度拿回来。下面按"先说结果 → 环境准备 → 完整配置 → 原理 → 自检"的顺序带你走完。 ## 配置完成后你能拿到什么 不用猜,直接

gitblog_00398的博客 156

Hive表生命周期管理:自动化数据清理策略与实战框架

在大数据平台中,数据治理是确保系统健康与成本可控的核心环节。其基本原理是为数据资产定义明确的管理策略,实现从产生到归档或销毁的全流程管控。这项技术的核心价值在于,它能自动化处理过期数据,从而有效释放存储资源、提升查询性能并满足合规要求。典型的应用场景包括数仓中的历史日志表、临时中间表以及按时间分区的业务事实表。针对Hive表,实现生命周期管理通常涉及基于分区键值的时间策略判定数据过期,并通过Shell脚本、Metastore Hook或配置化框架等多种方案执行自动清理。其中,构建一个配置驱动的自动化清理框架

weixin_34197488的博客 471

大数据工程师必掌握的5大核心框架:Hadoop、Spark、Flink、Kafka、Hive

分布式数据处理是现代数据平台的基石,其本质是在海量、高吞吐、低延迟与强一致性等多重约束下实现可靠计算。Apache Hadoop提供高容错的分布式存储底座,Apache Spark以统一引擎支撑批流一体开发,Apache Flink凭借事件时间与状态管理保障毫秒级实时决策,Apache Kafka构建解耦、可重放的数据通信中枢,Apache Hive则通过元数据抽象弥合工程与分析的认知鸿沟。这五大框架共同构成从数据接入、存储、计算到查询的完整闭环,广泛应用于电商用户行为分析、金融风控、物联网设备管理等典型场

weixin_30902251的博客 441

cloudera,cdh, hive,impala,Kerberos

Impala 认证现在可以通过 LDAP 和 Kerberos 联合使用来解决 Impala 是基于 Apache Hadoop 的一个开源的分析数据库,使用 Kerberos 和 LDAP 来支持认证 。Kerberos 在1.0版本中就已经被支持了,而 LDAP 是最近才被支持,在 CDH 5.2 中,你能够同时使用两者。 Kerberos Kerberos 仍然是 Apache Hadoop 的主要认证机制。 principal 是 Kerberos 主体,就要一个用户或者一个守护进程。对于我们来说

u010010600的博客 534

大数据生态系软件的启动与停止

Hadoop-hdfs:分布式存储 start-dfs.sh #启动hdfs stop-dfs.sh #停止hdfs Hadoop-yarn:分布式资源(cpu,内存)管理 start-yarn.sh #启动yarn stop-yarn.sh #停止yarn mr-jobhistory-daemon.sh start historyserver #启动历史服务器 mr-job...

weixin_42509545的博客 258

基于SpringBoot+Vue+Hive的旅游数据分析平台设计与实现

在数据驱动的时代,旅游行业积累的海量订单数据需要高效的分析与可视化呈现。数据仓库与离线分析技术成为支撑业务决策的核心,Hive作为基于HDFS的批处理数仓引擎,能够以低成本处理百万级数据聚合。而SpringBoot作为后端服务框架,负责接口编排与任务调度,Vue则提供灵活的可视化大屏与后台管理界面。通过ETL将MySQL业务数据同步至Hive数仓,再经Hive SQL完成多维统计,结果落回MySQL供前端快速查询,形成完整的数据分析闭环。本文以“旅游数据分析平台”为例,详解从数据建模、环境搭建到前后端联调、

weixin_29029995的博客 243

大数据可视化毕设通用模板:Flask+Vue+ECharts快速构建专业系统

数据可视化是将抽象数据转化为直观图形的技术,其核心原理在于利用视觉编码高效传递信息。这项技术对于数据分析、决策支持具有重要价值,广泛应用于商业智能、物联网监控和社交网络分析等领域。在工程实践中,一个健壮的可视化系统通常采用分层架构,涉及数据接入、服务处理和前端展示等多个环节。对于毕业设计和快速原型开发而言,如何高效整合**ECharts**、**Vue.js**等技术栈,并封装可复用的图表组件与API,是提升开发效率的关键。本文提供的通用模板正是聚焦于此,它通过预置数据管理层、可视化组件库和动态数据对接模块

weixin_30664615的博客 429
上一篇: Leecode-两数之和(scala实现)
下一篇: hive3编译 on tez+tez-ui配置和遇到的兼容问题与踩坑记录
大数据左右手
博客等级 码龄9年 475粉丝 116原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值