jzy3711的博客

今年1月内蒙的数据中台和大数据平台上线，运行至今很稳定，昨天半夜3点半被叫起来，说大部分任务卡住了，运行不了，追查问题，发现union all的任务都执行不了，问了现场早上改了什么吗？发现局方要求改了一个参数导致的，任务执行不了挺严重的，早上任务出不来，主任要背责任的。Hive中没有超级管理员，任何用户都可以进行Grant/Revoke操作，为了完善“超级管理员”，必须添加hive.semantic.analyzer.hook配置，并实现自己的权限控制类。3.暂时将参数改回去，回滚配置，重启服务。

文章目录Couldn't acquire the DB log notification lock because we reached the maximu背景sql脚本报错解决参考问题描述后续背景原因分析解决第一种关闭自动分区发现（不推荐）第二种 修改external.table.purge参考Couldn’t acquire the DB log notification lock because we reached the maximu背景集群遇到了个问题，Hadoop 3版本的，有20个5

ERROR [HiveServer2-Background-Pool: Thread-5702712]: tez.TezTask (:()) - Failed to execute tez graph.org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. No cluster diagnostics found. at org.apache.tez.client.TezClient.waitTi

报错22/02/22 10:24:20 INFO Client: Application report for application_1642757441712_0012 (state: FAILED)22/02/22 10:24:20 INFO Client: client token: N/A diagnostics: Application application_1642757441712_0012 failed 2 times due to AM Cont

mysql双主+keepalived实现mysql高可用并为ambari 与hive 提供服务mysql双主同步初始状态1、将主服务器要同步的数据库加锁，避免同步时发生改变:use database_name;flush tables with read lock;2、使用mysqldump工具导出数据:mysqldump -uroot -pxxx database_name >database_name.sqlmysqldump -uroot -pxxx -R database_na

背景在hive中orc格式会自动将string类型的数据，hdfs文件加载成数据类型，就导致使用多表关联 jion on id = "11"时报错，或查询不出来结果，或者这外部表时造成表结构与实际数据类型不符。操作使用shell脚本获取建表语句，并创建一个相同结构的textfile格式的临时表，将数据导到临时表，删除原表，创建一个相同结构的textfile格式的原表，将临时表数据导回来，再删除临时表使用shell处理因为表太多，我将表名整理到a.out,使用shell及脚本去生成一个sql文件去执

1. 复制hive-site.xml将Spark-Home/conf目录下的hive-site.xml复制到IDEA工程的resource目录下2. 修改入口Spark 2.x版本将SparkContext和HiveContext整合起来，统一使用SparkSession作为连接入口。所以建立连接需要使用如下代码val conf = new SparkConf()conf.setAp...

Spark on Hive：入门版本兼容性 spark安装 配置YARN 配置Hive 配置属性详细信息 配置Spark 调整细节 常见问题（绿色已解决，将从此列表中删除） 推荐配置 设计文件 Hive on Spark为Hive提供了利用Apache Spark作为其执行引擎的能力。<span style="color:#172b4d">设置...

原因：hdfs上没有root用户，也没有对应的文件夹/user/root会默认以root身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/xxx , 我的为/user/root,   由于 root用户对hdfs目录并没有写入权限，所以导致异常的发生。而hdfs才有权限创建/user/root解决方法：1、第一种在hdfs的配置文件中，将dfs.permi...

建表语句api="TodayHot"hadoop dfs -mkdir /jzytest/hive${api}/ hive -e 'create external table if not exists jzy'$api'json( category string, description string, hotUrl string, addrlocal string, med...

api="TopicHeatTrend"hadoop dfs -mkdir /jzytest/hive${api}/ hive -e 'create external table if not exists jzy'$api'json( distribute map<string,map<string,int>>, heatTrend array<struc...

目录[-]一、map、struct、array 这3种的用法： 1、Array的使用 2、Map 的使用 3、Struct 的使用 4、数据组合 （不支持组合的复杂数据类型） 二、hive中的一些不常见函数的用法： 1、array_contains （Collection Functions） 2、get_json_object （Misc. Functions） 3、pars...

shell 脚本hadoop dfs -mkdir /jzytest/hivePublicOpinionList/#创建hive外部双分区表hive -e 'create external table if not exists jzyPublicOpinionListjson( channel  string, publishTime string, source string...