chimchim66的博客

hive

hive acid及事务表踩坑学习实录

目录背景问题定位原因1.压缩导致解决方案原因2.分区文件location不一致导致解决方案原因3.元数据未更新解决方案背景hdfs文件有数据，Hive中select * 没有数据，而select count(*)有数据问题定位原因1.压缩导致表结构未压缩，数据压缩了，select查询与表结构有关系解决方案使用select时指定与数据一致的压缩方法就可以查询出来压缩过的收据了SET hive.exec.compress.output=

前言Spark是专为大规模数据处理而设计的快速通用的计算引擎，具有速度快、支持多语言、移植性高的特点。而移植性高的体现就在于Spark的部署方式有多种模式，如：本地local、Standalone、Apache Mesos、Hadoop YARN、EC2、Mesos、K8S等等。背景一般公司的大数据项目基础设施都是建立在hdfs之上，所以在大部分的公司里，Spark都是跑在Yarn之上，yarn作为一个资源调度器并不能感知Spark作业具体需要分配多少资源，那就需要程序员在提交Spark作业的时候，设

固定日期转换成时间戳select unix_timestamp('2022-05-09','yyyy-MM-dd');select unix_timestamp('20220509','yyyyMMdd');select unix_timestamp('2022-05-09T10:02:41Z', "yyyy-MM-dd'T'HH:mm:ss'Z'");16/Mar/2022:12:25:01 +0800转成正常格式（yyyy-MM-dd hh:mm:ss）select ...

背景：执行任务完成后，经常会发现hdfs生成了多个文件设置以下参数防止hive生成2个文件：set hive.exec.stagingdir=/tmp/hive-staging/.hive-staging;处理方法：在hive-site.xml中添加以下参数。<property> <name>hive.exec.stagingdir</name> <value>/tm...

背景：使用datax工具将一张表从hive推送数据到mysql报错：Incorrect string value: '\\xF0\\xA5\\x96\\x84' for column 'user_name' at row产生原因分析：普通的字符串或者表情都是占位3个字节，所以utf8足够用了，但是移动端的表情符号占位是4个字节，普通的utf8就不够用了，为了应对无线互联网的机遇和挑战、避免 emoji 表情符号带来的问题、涉及无线相关的 MySQL 数据库建议都提前采用 utf8mb4 字符集，

hive锁机制hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X），其中只触发s锁的操作可以并发的执行，只要有一个操作对表或者分区出发了x锁，则该表或者分区不能并发的执行作业。各个操作锁出发的锁如下：补充一条，load data (local) inpath ’ ’ into table xx partition() 出发的锁操作同insert直接在hadoop上 hadoop dfs -put xx yy 不触发锁。（可以用在shell上 执行 hadoop dfs

1.动态分区操作–动态分区插数set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions=100000;set hive.exec.max.dynamic.partitions.pernode=100000;INSERT overwrite table 目标表名 partition(分区字段)select 表字段

问题：建表时发现hive建表语句有中文乱码的现象定位：hive的元数据都是存储在mysql上维护的。可以修改hive元数据的字符集为utf-8.解决方案：1.修改hive-site.xml配置文件的参数内容set jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true;注意：hive的元数据metastore在mysql的数据库,不管是数据库本身,还是里面的表编码都必须是latin1(CHARACTER SET lat

hive