hive锁 导致 hive select、alter、sqoop表异常

Flume采集数据到hive&hbase 阅读详情

环境:CDH6.2.1,Java8

HDFS3.0.0+cdh6.2.1
Hive2.1.1+cdh6.2.1
ZooKeeper3.4.5+cdh6.2.1
Sqoop1.4.7+cdh6.2.1
Flume NG1.9.0+cdh6.2.1

问题:假期服务器突然断电,导致正在查询的hive进程异常,重启系统之后,发现hive表不能执行,select、alter都不行,不过是部分表这样。

解决:查看日志并在网上查询后,发现是hive锁的问题,不过办法都试过了,没有用,最后发现好多这种解决办法:

在Hive数据库的元数据存储mysql数据库的hive元数据hive表中执行 

delete from HIVE_LOCKS where HL_DB = 'cdn' and HL_TABLE = 'cdn_log';

比如:https://blog.youkuaiyun.com/w635614017/article/details/89095174 最后

select * from HIVE_LOCKS;

delete from HIVE_LOCKS where HL_DB = 'hive' and HL_TABLE = 'monitor';

 

hive查询show locks;找出异常的表信息,挨个删除就好。

做完之后,发现查询正常了。

Sqoop 1.4.6 数据导出实战:Hive 到 MySQL 的 3 个关键参数与性能调优 本文详细解析了Sqoop 1.4.6在将Hive数据导出到MySQL时的3个关键参数(--export-dir、--num-mappers、--input-fields-terminated-by)及其性能调优技巧。通过实际案例展示了如何通过参数优化提升300%的导出效率,并解决主键冲突、格式不匹配等常见问题,为大数据迁移提供实用解决方案。 阅读详情

相关推荐

从售前到落地:我用Apache Atlas 2.0做数据治理的完整实践,附Hive/Sqoop元数据自动采集配置

本文详细介绍了Apache Atlas 2.0在企业级数据治理中的全流程实践,包括技术选型、部署策略、元数据自动化采集及性能调优。通过Hive/Sqoop元数据自动采集配置,实现高效血缘追溯和动态元数据管理,显著提升数据治理效率。特别适合Hadoop生态用户,帮助解决PB级数据资产的管理难题。

weixin_28694295的博客 173

数据库创建、表创建、加载数据

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33804990的博客 368

Hive数据类型全解析:从基础类型到复杂结构,构建高效数据仓库的基石

在数据仓库与大数据处理领域,数据类型是构建数据模型的原子单元,它定义了数据的存储格式、计算方式和语义约束。理解数据类型的原理,是进行高效数据存储、查询和计算的基础。从关系型数据库的经典类型体系,到适应半结构化、非结构化数据的复杂容器,合理的数据类型设计能显著提升存储效率、计算性能和资源利用率。在Hadoop生态中,Hive作为核心的数据仓库工具,其丰富的数据类型体系(包括基本类型如INT、STRING、DECIMAL,以及复杂类型如ARRAY、MAP、STRUCT)为处理多样化的业务数据提供了强大支持。掌握

快马扬鞭须努力! 378

flume概念+ Hive

Flume Flume Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。 1.Event:事件, Flume在接收到日志数据之后,会先将其封装成一个个的Event (JSON串),一条日志被封装为一个event log: “猪猪上周去医院了” event: { “headers”:“自定义内容” , “body”:“猪猪上周去医院了” } 2.Agent: 代理,Flume集群中的每一个节点都叫做一个Agent,而每个Agent(服务器j节点)中包含三个组件(sourc

ZhuKeZhu的博客 467

开源数据中台实战:从架构选型到MVP搭建全解析

数据中台作为企业数据资产管理与服务的核心体系,其核心原理在于通过统一的数据资产层,整合多源异构数据,打破数据孤岛。在技术实现上,它融合了数据采集、存储计算、治理与服务等关键技术,旨在为业务提供标准化、可复用的数据能力。其技术价值体现在提升数据利用效率、降低数据应用开发成本,并支持敏捷的业务创新。在应用场景上,无论是实时风控、用户画像分析还是业务报表,都离不开一个稳定高效的数据处理平台。本文聚焦于如何利用成熟的开源组件,如Apache Flink进行实时计算、Apache Doris进行高性能OLAP分析,构

aofan9566的博客 527

大数据学习路线:从Java基础到Flink实战的四年经验总结

大数据技术体系的核心在于高效处理海量数据,其底层原理依赖于分布式存储与计算框架。以Hadoop生态为例,它通过HDFS实现数据分布式存储,利用MapReduce模型进行并行计算,并通过YARN进行资源调度,从而解决了传统单机系统在数据规模上的瓶颈。这种架构为数据分析、实时计算等场景提供了强大的技术支撑,广泛应用于互联网、金融、政务等领域的数据处理需求。本文基于Hadoop集群部署和MapReduce编程等实践热词,分享了一条从编程基础、集群搭建到项目实战的系统学习路径,帮助初学者构建完整的大数据知识体系。

chengyixian7877的博客 352

Sqoop 导出mysql 死锁

https://www.cnblogs.com/-courage/p/14024701.html

wd1llc38的博客 696

数据仓库分层与维度建模:构建高效可维护数据体系的实践指南

数据仓库是支撑企业数据分析与决策的核心基础设施,其核心在于通过分层架构与建模理论,将原始数据转化为可信、可用的数据资产。分层设计遵循解耦与复用原则,构建从ODS(操作数据层)、DWD(明细数据层)、DWS(服务数据层)到ADS(应用数据层)的清晰数据流水线,有效降低复杂度、避免重复计算并保障数据一致性。在建模层面,维度建模以其为分析而生的设计理念成为主流,通过事实表与维度表的组合,特别是星型模型,以空间换时间,极大提升了查询性能与易用性。结合Hive等大数据工具,通过合理的表设计、分区策略及对缓慢变化维(S

weixin_33694172的博客 373

时间不同步问题导致hive 只能select* 不能select count(*)select 某个字段 ,是因

时间不同步问题导致hive 只能select* 不能select count(*)select 某个字段 ,是因为select *不调用mr select单个字段或者count(*)调用mr 时间不同步问题导致hive 只能select* 不能select count(*)select 某个字段 ,是因为select *不调用mr select单个字段或者count(*)调用mr

SpartacusG的专栏 4157

【信息科学与工程学】【数据科学】第一百二十二篇 大数据产品中的函数与算法01

它通常指。下面按照你给出的表格列💡 说明:下表中的"产品"以开源/主流商业组件为具象载体(Hadoop、Spark、Flink、Kafka、Hive、HBase、Iceberg、Atlas、Ranger、TensorFlow 等),它们共同构成一个完整的大数据产品家族;代码为实现示例,用于说明算法在工程系统中的落地方式。

weixin_49199313的博客 197

华为项目TR5评审后发现了重大缺陷的应急处理经验

华为TR5评审后发现重大缺陷时,启动分级应急机制:1)缺陷分级:按严重性(致命/严重/一般)评估影响;2)应急响应:跨部门会议制定方案,冻结生产并调配资源;3)根因修复:通过RCA定位问题,设计变更后回归测试;4)变更管理:评审修复影响,调整发布策略;5)持续改进:记录缺陷闭环,优化流程。案例显示,软件闪退问题通过热修复补丁和代码重构解决。关键工具包括Jira、FMEA等,确保缺陷在量产前拦截,降低风险。

从技术实践立足,从项目管理方法论延伸思考 1069

基于Sqoop+Hive+MySQL构建离线日志分析平台实战指南

数据仓库作为企业数据资产的核心载体,其构建通常遵循ETL(抽取、转换、加载)这一经典范式,旨在将分散的业务数据整合为统一、规范的分析模型。其核心原理在于通过数据集成工具,将来自OLTP系统(如MySQL)的数据,高效、可靠地迁移至OLAP系统(如Hive),以支持海量历史数据的复杂聚合与深度挖掘。这一过程的技术价值在于,它实现了数据存储与计算能力的解耦,使得分析查询不再影响在线业务性能,同时为数据驱动决策提供了稳定基础。在应用场景上,网站日志分析、用户行为洞察、业务报表生成等都是典型用例。本文聚焦于使用Sq

weixin_33850015的博客 499

51雾化器实现

1. 雾化器简介 雾化器是将试液雾化的一种器械。雾化器是原子化系统的重要部件,其性能对测定的精密度和化学干扰等产生显著影响。因此要求雾化器喷雾稳定、雾滴细小、均匀和雾化效率高。雾化器的类型有超声雾化器,空气压缩式雾化器,网式雾化器。超声雾化器因其价格合适,适合家用,被广泛应用于加湿器,香薰机等各种小家电,也在医疗领域有很多的应用。家用雾化器的主要器件是一枚雾化片。 家用雾化器分为两种不同类别雾化片,实孔雾化片和微孔雾化片,这两种的喷雾方法和工作原理是有所不同的。不同的雾化片需要特定的频率才能工作。 实孔雾

qq_42415953的博客 2万+

Hive + Sqoop 数据搬运实战:手把手教你将订单统计结果从HDFS同步到MySQL

本文详细介绍了如何使用Hive和Sqoop将订单统计结果从HDFS高效同步到MySQL。通过环境配置、数据优化、Sqoop参数详解及实战问题排查,帮助开发者快速掌握数据搬运技术,提升数据处理效率。特别适用于需要将Hive分析结果导出到MySQL的业务场景。

dianshu1593的博客 446

从 Pandas 到 Polars 十八:数据科学 2025,对未来几年内数据科学领域发展的预测或展望

Rust 在数据科学家中的普及将受到 Polars 的推动,用户会发现从使用 Python 切换到 Rust API 的门槛相对较低——比从 Pandas 切换到 C 的门槛要低得多!在数据科学蓬勃发展的十年里,我所在领域的日常工作主要由像 Python 这样的动态语言或像 R 和 Julia 这样使用即时编译的语言主导。尽管这两个库的功能有很多重叠,但有些人会想要一个像 DuckDB 这样的工具,它拥有更多关系型数据库的陷阱,而有些人则不会。然而,一位受访者正确地指出,基于GPU的库(如cuDF)更快。

sosogod的博客 2466

opencv图像去畸变

opencv图像去畸变

智能机器人产学研基地 4869

基于Sqoop+Hive+MySQL的离线数仓实战:网站日志分析项目全流程解析

ETL(抽取、转换、加载)是构建数据仓库的核心流程,它负责将分散的业务系统数据整合到统一的分析平台。其基本原理是通过抽取工具将数据从源系统(如MySQL)迁移到大数据存储(如HDFS),再经过转换清洗后加载到分析引擎(如Hive)中。这项技术的核心价值在于实现OLTP(在线事务处理)与OLAP(在线分析处理)的分离,将分析查询压力从生产数据库剥离,保障业务系统稳定性的同时,为海量数据分析提供可能。在典型的应用场景中,如网站日志分析、用户行为统计等T+1报表场景,稳定可靠的离线批处理架构依然是许多企业的首选。

weixin_33910137的博客 380

ASPICE标准快速掌握「1.1. 简介」

ASPICE是汽车软件过程改进能力模型(Automotive SPICE,Automotive - Software Process Improvement and Capability dEtermination)的缩写,是一种针对汽车软件开发过程的国际标准。该标准旨在帮助汽车制造商和供应商改进其软件开发过程,以确保其软件产品的质量和安全性。需要做什么为什么要做技术上的依赖性是什么。

雪云飞星的博客 2292

基于Hadoop的电商用户行为洞察与可视化大屏构建实践

本文详细介绍了基于Hadoop的电商用户行为分析实践,包括数据采集、处理、分析和可视化全流程。通过Flume、Hive和Sqoop等工具,构建高效的数据处理链条,实现用户行为多维分析,并通过Pyecharts动态可视化展示关键指标,帮助电商企业提升运营效率和决策能力。

weixin_30765577的博客 464

IgH EtherCAT 从入门到精通:第 29 章 实战:EoE 远程维护通道搭建

摘要:本章详细介绍了基于EoE(Ethernet over EtherCAT)协议的远程维护通道搭建方案。主要内容包括:1)网络架构设计,采用管理网络与EoE子网隔离的方案;2)从站EoE支持确认与IP地址配置,提供API和命令行两种方式;3)路由/交换两种部署模式,重点推荐路由模式并给出自动化配置脚本;4)SSH远程访问配置,包括直接连接和跳板访问两种方式;5)安全加固措施,如防火墙规则、SSH密钥认证等;6)故障恢复机制与性能注意事项。该方案实现了通过EtherCAT网络对从站设备的远程SSH访问、文件

从事嵌入式linux android驱动开发,拥有全栈能力 360

5G无线关键技术 — 新型传输波形技术和先进编码与调制技术

目录 1、OFDM传输波形技术 2、滤波器组多载波 (Filterbank multicarrier:FBMC) 3、先进编码与调制技术 4、空间调制(Spatial Modulation SM) 5、频率正交幅度调制 1、OFDM传输波形技术 OFDM是当前Wi-Fi和LTE标准中的高速无线通信的主要传信模式。 LTECP配置 子载波间隔 CP长度Tcp 有用符号长度Tu CP比例..

Fanjufei的博客 2128

从零搭建数仓:基于Apache Hive的ODS到ADS五层架构实战配置指南(含完整SQL脚本)

本文详细介绍了从零搭建基于Apache Hive的数据仓库五层架构(ODS→DWD→DWS→DWT→ADS)的实战配置指南,包含完整SQL脚本和优化策略。通过环境配置、数据同步、维度建模到报表输出的全流程演示,帮助开发者掌握企业级数仓建设核心技能,提升数据处理效率与分析准确性。

weixin_30920853的博客 433

ISO13849功能安全从入门到精通(3):安全功能及其对降低风险的贡献4

例如,如果机器必须在有限速度下运行时进行设置,那么在低加速度值下进行设置时,参数P1将是正确的选择:随着危险缓慢出现并给予足够的运动自由,操作员将能够移出危险区域。例如,在无故障的条件下,在操作者的手的方向移动的滚子不能陷住它。在所有其他情况下,F1是正确的选择,前提是危险暴露的持续时间不超过机器总操作时间的1/20。需求来源于必要的风险降低。由于这些考虑而降低的PLr在任何情况下都不得低于通过比较方式考虑的机器的PLr,因为并不能从事故发生率低和严重程度低得出实施的安全功能提供的安全水平高于要求。

wdconan001的博客 834

大数据竞赛实战:数据抽取从理论到工具选型与避坑指南

数据抽取是ETL(提取、转换、加载)流程的起点,其核心原理是从异构数据源(如关系型数据库、NoSQL、日志文件)中高效、准确地获取数据,为后续的数据分析和建模奠定基础。这项技术的价值在于,它解决了多源数据集成和实时/离线数据同步的挑战,是构建数据仓库、数据湖及实现数据驱动的关键环节。在实际应用场景中,无论是企业级数据集成、大数据平台建设,还是竞赛中的数据处理任务,都需要根据数据源类型、数据量和更新频率,在**全量抽取**与**增量抽取**等策略间做出权衡,并选择合适的工具(如Sqoop、DataX、Flum

weixin_34008933的博客 368

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

基金对口简历包装

这三个 STAR 一定要自己口头讲 2~3 遍,直到能流畅说出关键词(不用背逐字稿,说核心逻辑就行)技术栈名字要熟:DataX、Spark SQL、Hive、Impala、Airflow/DolphinScheduler——面试官可能随手问"DataX 怎么断点续传的"如果面试官追问你没做过的细节(比如 Kudu、实时流),直接说"这块我没有直接做过,但我了解原理是……",诚实比硬编好你现在可以试着对着上面的 STAR ① 自己口述一遍,看看卡在哪里——卡的地方告诉我,我帮你润色措辞 👊。

weixin_50659451的博客 193

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

电商数仓实战:从ODS到ADS的完整分层设计与避坑指南

本文详细解析了电商数据仓库从ODS到ADS的完整分层架构设计,包括各层级的核心功能与实现要点。通过五层架构(ODS、DWD、DWM、DWS、ADS)的设计,确保数据高效流转与价值输出,并提供了数据清洗、维度建模、指标复用等实战技巧,帮助开发者规避常见问题,提升数据仓库建设效率。

yellow的专栏 1002
上一篇: hive load data inpath ‘‘ overwrite into 坑
下一篇: CDH6.2.1安装Airflow1.10.3 完整步骤总结
lcl_bigdata
博客等级 码龄11年 268粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值