hive无法执行insert数据，建库建表正常

已于 2025-04-11 22:20:33 修改
阅读量210 收藏 3
点赞数 2
文章标签： hive hadoop 数据仓库
于 2025-04-11 22:17:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/persistpass/article/details/147155188
版权

背景：hadoop-3.1.3  hive-3.1.2

我新搭建的4台虚拟机的hadoop+hive集群（一台master4GB内存，三台slave各2GB内存），今天执行Insert语句时候报错如图。

return code 2   -kill job_1744345307855等等  没有什么有用的信息

然后去查看更详细的日志，hive.log  hadoop-zy-namenode-master.log  hadoop-zy-resourcemanager-master.log 

在resourcemanager-master.log中看到一条有用的信息。

Invalid event: APP_UPDATE_SAVED at ACCEPTED

查到一篇资料，Hadoop集群什么时候会进入ACCEPTED状态，就是机器内存占满的时候，在yarn-site.xml中设置下内存参数。 

<property>

    <name>yarn.app.mapreduce.am.resource.mb</name>

    <value>256</value>

</property>

问题解决，执行成功！但是不知道为什么，hadoop-zy-resourcemanage-master.log中在执行insert时候还是会报错ACCPETED状态，这里还是会kill，但是却可以运行成功。  暂时不研究了，先做项目了。有笔友知道为何，可以私聊笔者探讨交流一下。（其实中间还把服务器的内存交换空间关闭了）

Hammer Ray
关注
大数据之Hive数据库与表操作
weixin_43339889的博客
11-07 1133
Hive数据库和表操作
Apache paino建表实战
ycjunhua的专栏
10-23 498
事件时间：事件时间是原表中的一个字段。对于CDC数据来说，比如从MySQL CDC同步的表或者Paimon生成的Changelogs，它们都是完整的CDC数据，包括UPDATE_BEFORE记录，即使你声明了包含分区字段的主键，也能达到独特的效果。当表从Catalog中删除时，其表文件也将被删除，类似于Hive的内部表。创建时间（推荐）：创建时间通常是不可变的，因此您可以放心地将其视为分区。在 Paimon Catalog中创建的表就是Paimon的管理表。如果定义了主键，则分区字段必须是主键的子集。
hive insert操作卡死
天天开心
02-21 6062
hive，执行一个简单的insert操作时 卡在了 kill command这里 看了下rm，nm什么都启动起来了，怀疑mp出错了， 随便运行了一个官方案例，果然不对，一直卡在running job这里。 无语，我什么也没动啊，昨天insert还好好的。 查看了一下nodemanager的log，没有什么问题，又查看了resourmanager的log 问题就出在红框这里：...
Hive jdbc执行insert语句时报 code=1 ,code=2 错误解决方法
热门推荐
雷雨中的双桅船
01-12 1万+
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask  FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask; Hive在执行insert o
3.2.1 数据仓库工具 -- Hive(安装配置、建库建表、数据导入导出)
weixin_47134119的博客
02-01 1525
3.2.1 数据仓库工具 – Hive 文章目录3.2.1 数据仓库工具 -- Hive一、Hive概述1. Hive的优点2.Hive的缺点3.Hive架构二、Hive安装与配置2.1 Hive安装配置2.1.1、MySQL安装1、删除MariaDB2、安装依赖3、安装MySQL4、启动数据库5、查找root密码6、修改 root 口令7、创建 hive 用户2.1.2、Hive 安装1、下载Hive软件，并解压缩2、修改环境变量3、修改 Hive 配置4、拷贝 MySQL JDBC 驱动程序5、初始化
5.hive建库建表与数据导入
weixin_46556352的博客
05-05 3192
5.hive建库建表与数据导入
【Hive】基本建库、建表操作
懂得一千零一种,赋予你失败的方法！
03-06 8857
文章目录一、Hive 数据仓库的操作1、创建数据仓库2、查看 db 数据仓库的信息及路径3、删除 db 数据仓库二、Hive 数据表的操作1、创建内部表2、创建内部表3、修改表结构4、删除表5、创建同结构表三、Hive 中数据的导入导出 环境准备 Hadoop 完全分布式（一主两从即可） MySQL环境、Hive环境 一、Hive 数据仓库的操作 验证 hadoop 集群、mysql服务均已启动： 在 Hive 安装目录下的 bin 目录下启动： ./hive : [root@serve..
Hive建表全攻略-从入门到精通
一个8年大数据开发工程师的碎碎念
07-28 3010
探索Apache Hive的强大功能！本文深入讲解Hive建表技巧、性能优化、安全管理和生态系统集成。从基础语法到高级特性，包括分区表、ORC存储、动态分区、查询优化等核心概念。学习如何处理数据倾斜、实现细粒度访问控制，以及与Spark、Kafka、HBase无缝集成。通过实战案例掌握构建高效数据仓库的秘诀。无论您是初学者还是专家，这份Hive知识图谱都能助您在大数据领域更上一层楼。#Hive #大数据 #数据仓库 #性能优化 #数据安全
Hive基础语句（建库，建表，导入数据）
格罗姆高的专栏
03-08 4330
可能会遇到权限不足的问题: hadoop fs -chmod 777 /user 将一个文件加载到HDFS hadoop fs -mkdir /user/demo/states/ hadoop fs -put /tmp/states.txt /user/demo/states/ hadoop fs -ls /user/demo/states/ 使用hadoop fs 文件系统命令 将...
hive：建库建表、表分区、内部表外部表、数据导入导出
琦彦
09-25 7086
hive建库建表与数据导入 建库 hive中有一个默认的库： 库名： default 库目录：hdfs://hdp20-01:9000/user/hive/warehouse   新建库： create database db_order; 库建好后，在hdfs中会生成一个库目录： hdfs://hdp20-01:9000/user/hive/warehouse/db_or...
hive建库建表与数据导入导出
cm_chenmin的专栏
10-12 6302
hive建表： hive分内部表与外部表，创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。  创建外部表： create EXTERNAL table IF NOT EXIS
Hive数据仓库
2201_75417453的博客
06-26 423
编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树 转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划 （MapReduce）, 最后选择最佳的策略。Hive中的元数据包括(表名、表所属的数据库名、 表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等）可扩展性：为超大数据集设计了计算/扩展能力（MR作为计算引擎，HDFS作为存储系统），Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。
大数据-数仓-数仓工具：Hive（离线数据分析框架）【替代MapReduce编程；插入、查询、分析HDFS中的大规模数据；机制是将HiveSQL转化成MR程序；不支持修改、删除操作；执行延迟较高】
u013250861的博客
01-14 1038
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。Hive数据仓库⎩⎨。
MySQL数据归档利器：pt-archiver原理剖析与实战指南
专注于编程、AI、人工智能等多个领域内容研究和分析
05-30 388
MySQL数据归档利器：pt-archiver原理剖析与实战指南
Hive 分桶（Bucketing）深度解析：原理、实战与核心概念对比
Cy513841863的博客
05-26 1085
分桶技术通过哈希算法将数据按表内字段细粒度划分到多个桶中，解决分区数据不均衡问题。其核心优势包括：优化大表JOIN性能（相同字段分桶时避免全表扫描）、支持高效数据抽样、实现数据均衡分布。
JavaWeb开发基础Servlet生命周期与工作原理
自动化代码美学
05-29 461
总结，Servlet的生命周期包括初始化(init)、请求处理(service，调用doGet、doPost等)、和销毁(destroy)。工作原理是：客户端请求，服务器分发，创建请求和响应对象，调用service方法，生成并发送响应，删除请求和响应对象。当容器决定卸载Servlet(如容器关闭或Servlet被重新加载)时，它会调用Servlet的。方法根据请求的类型(如GET、POST等)调用相应的处理方法(如。方法根据请求的类型(如GET、POST等)调用相应的处理方法(如。
Hive的存储格式如何优化？
最新发布
chunzhi128的博客
05-30 805
Hive存储格式的选择对性能和效率至关重要。ORC和Parquet作为列式存储格式，适合查询少量列的OLAP场景，提供高速查询和压缩支持；行式存储如TextFile和SequenceFile适合全表扫描。ORC在Hive中性能更优，而Parquet跨引擎兼容性更好。优化方法包括合理配置参数（如块大小、压缩算法）、合并小文件以及分区分桶策略。实际选择需根据查询模式、数据类型和压缩需求确定，决策树可帮助快速匹配适用格式。
hive 建库 建表
03-18
### Hive 创建数据库及表的语法与示例 #### 数据库创建 在 Hive 中，可以通过 `CREATE DATABASE` 或 `CREATE SCHEMA` 命令来创建一个新的数据库。命令的具体语法如下： ```sql CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT 'database_comment'] [LOCATION 'directory_path'] [WITH DBPROPERTIES (property_name=property_value, ...)]; ``` - `[IF NOT EXISTS]`: 如果指定名称的数据库不存在，则创建新数据库。 - `[COMMENT 'database_comment']`: 可选字段，用于描述该数据库的信息。 - `[LOCATION 'directory_path']`: 指定存储数据的位置路径，默认情况下会在 HDFS 的 `/user/hive/warehouse` 下创建目录。 - `[WITH DBPROPERTIES (...)]`: 设置数据库属性。 例如，下面是一个简单的例子[^3]: ```sql CREATE DATABASE IF NOT EXISTS my_database COMMENT 'This is a test database' LOCATION '/user/hive/my_database'; ``` 此命令将在 HDFS 上创建名为 `my_database` 的数据库，并附带注释说明以及自定义位置。 要切换到某个特定数据库下执行查询或其他操作，可使用 `USE` 子句: ```sql USE my_database; ``` 这使得后续所有的 SQL 查询都作用于当前选定的数据库中。 #### 表创建 Hive 支持多种类型的表格结构，包括内部表（Managed Table）、外部表（External Table），还有临时表（Temporary Table）等。 ##### 内部表（Managed Table） 这是最常用的建表形式之一，在删除此类表时其元数据和实际的数据都会被清除掉。基本语法为： ```sql CREATE TABLE [IF NOT EXISTS] table_name ( col1 data_type, col2 data_type, ... ) [COMMENT 'table_comment'] [PARTITIONED BY (col_name data_type)] [CLUSTERED BY (col_name) INTO num_buckets BUCKETS] [SORTED BY (col_name [ASC|DESC])] [ROW FORMAT DELIMITED FIELDS TERMINATED BY char LINES TERMINATED BY char] [STORED AS file_format]; ``` 举个实例演示如何构建一张包含分区信息并采用 ORC 文件格式储存的新表[^1]: ```sql CREATE TABLE employees( id INT, name STRING, salary FLOAT, join_date DATE ) COMMENT 'Employee details with partitioning on department.' PARTITIONED BY(department STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS ORC; ``` 上述脚本建立了一个员工记录表，其中按部门划分了多个分区以便更高效地检索相关联的数据集。 ##### 外部表（External Table） 当不想让 Hive 控制底层数据文件生命周期的时候可以选择这种方式。即使移除对应的 Hive 表对象也不会影响原始数据源的存在状态。其声明方法几乎相同只是多了前缀关键词 EXTERNAL 而已。 ```sql CREATE EXTERNAL TABLE external_table_name ( column_definitions... ) [LOCATION hdfs_directory_path]; ``` 比如这样设置指向已有 HDFS 地址上的 CSV 文档作为输入资源: ```sql CREATE EXTERNAL TABLE logs_ext ( log_time TIMESTAMP, message STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ('field.delim'=',') LOCATION '/logs/csv/'; ``` 这里指定了 SerDe 类型处理逗号分割符的情况。 ##### 临时表（Temporary Table） 这类特殊用途的表只存在于发起它们的那个 session 生命周期期间结束之后就会消失不见再也无法访问到了。通常适用于那些只需要短期存在的中间计算成果或者测试验证场景之中。可通过附加 TEMPORARY 标识位实现快速搭建过程[^2]. ```sql -- 方法一：通过列定义直接生成 CREATE TEMPORARY TABLE temp_employee ( emp_id INT, first_name STRING, last_name STRING ); -- 方法二：基于现有表复制架构 CREATE TEMPORARY TABLE temp_copy LIKE permanent_table; -- 方法三：利用 SELECT INTO 构造初始内容填充 CREATE TEMPORARY TABLE temp_results AS SELECT * FROM source_data WHERE condition=true; ``` 以上三种途径均展示了不同风格下的临时表构造技巧供开发者灵活选用满足各自需求特点。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值