HIVE
关注
分享
扫一扫
离线数仓的一哥，一直被模仿从未被超越
80后大叔爱学习
2023年10月开始更新博客内容均为逆向相关的，其它内容暂时不会更新，没有太晚的开始，不如就从今天行动。
展开
-
CDH大数据平台 25Cloudera Manager Console之sqoop实战测试(markdown新版)
CDH大数据平台 25Cloudera Manager Console之sqoop实战测试(markdown新版)原创 2022-11-06 05:00:00 · 328 阅读 · 23 评论 -
CDH大数据平台 17Cloudera Manager Console之Sentry权限hive测试(markdown新版)
sentry的hive、etl、bigdata等权限配置原创 2022-10-16 21:19:47 · 693 阅读 · 50 评论 -
CDH大数据平台 Error: Error while compiling statement: FAILED: SemanticException No valid privileges
解决hive不能创建数据库的权限问题原创 2022-10-16 20:17:44 · 525 阅读 · 3 评论 -
CDH大数据平台 所有 HiveServer2 角色必须在相同的主机上有一个 Spark 角色（如 Gateway）以接收 Spark 配置。在角色正常运行前，您必须部署 Spark 客户端配置
hive on spark修改计算引擎报错解决方法原创 2022-10-15 10:59:19 · 678 阅读 · 11 评论 -
CDH大数据平台 16Cloudera Manager Console之Sentry权限配置和测试(markdown新版)
Sentry权限管理hive、hue、hdfs等原创 2022-10-11 23:24:07 · 2504 阅读 · 188 评论 -
CDH大数据平台 05Cloudera Manager搭建环境&&设置&&服务添加(markdown新版)
Cloudera Manager配置，图解清晰原创 2022-09-22 15:19:42 · 1212 阅读 · 17 评论 -
HDP 11.sqoop 将 MySQL 数据导⼊ Hive
十二、 sqoop将 MySQL 数据导⼊ Hive1、将 ambari.users 表导入到 dim_v8sp数据库在 client-v01 服务器创建 etl 用户 HOME目录，生成kerberos票据文件，并添加 crontab以定期刷新飘据到缓存。cd /home/;cp -r ./bigdata ./etl;chown -R etl:etl ./etl;rm -rf /home/etl/security/keytabs/bigdata.keytab;su - ...原创 2021-11-04 17:57:11 · 1496 阅读 · 0 评论 -
HIVE Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://m
错误：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://mycluster/data/hive/warehouse/ods/ods_user/dt=2021-04-03 could not be cleaned up.原因：被复写的表是分区表，现在删除了该分区表的数据，而之前导入过该分区数据，hive元数据中会有记录，造成其实里面没有内容却不能抽取数据成功。解原创 2021-04-07 16:16:49 · 4096 阅读 · 0 评论 -
HIVE 注释出现乱码???
hive-site.xml登录mysql使用hive配置的数据库(见上图)select * from COLUMNS_V2;alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;alter table PAR..原创 2021-01-26 16:20:42 · 198 阅读 · 0 评论 -
HIVE java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration at org.apache.h
vi hive-site.xml搜索：<name>hive.server2.active.passive.ha.enable</name>原创 2021-01-21 13:31:23 · 5366 阅读 · 0 评论 -
HIVE `com.mysql.jdbc.Driver‘. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver‘
mysql常见问题原创 2021-01-05 18:49:52 · 1156 阅读 · 0 评论 -
HIVE Illegal character entity: expansion character (code 0x8 at [row,col,system-id]: [3215,96,“file
hive常见错误原创 2021-01-05 18:40:18 · 2044 阅读 · 0 评论 -
HIVE Exception in thread “main“ java.lang.NoSuchMethodError: com.google.common.base.Preconditions.ch
hive常见错误原创 2021-01-05 18:34:20 · 669 阅读 · 0 评论 -
HDP Caused by: org.apache.hadoop.ipc.RemoteException: Invalid resource request, requested resource t
完整错误：Caused by: org.apache.hadoop.ipc.RemoteException: Invalid resource request, requested resource type=[memory-mb] < 0 or greater than maximum allowed allocation. Requested resource=<memory:16384, vCores:1>, maximum allowed allocation=<memory原创 2020-09-15 22:41:29 · 1016 阅读 · 1 评论 -
HIVE Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISynta
修改后重新进入hive，正常原创 2019-05-12 00:57:57 · 1491 阅读 · 2 评论 -
HIVE SLF4J: Class path contains multiple SLF4J bindings.
两个jar包，删除一个即可原创 2019-05-12 00:49:04 · 4090 阅读 · 0 评论 -
HIVE Hive内部表和外部表的区别
未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；删除内部表会直接删除元数据（......原创 2018-09-17 20:46:28 · 393 阅读 · 0 评论 -
SPARK JDBC链接其它数据库，错误：java.sql.SQLException: No suitable driver
添加：option("driver","com.mysql.jdbc.Driver")原创 2018-10-12 10:23:06 · 2813 阅读 · 2 评论 -
HIVE 走近大数据之Hive入门---慕课网---个人笔记总结
HIVE学习笔记 1、创建表 create table emp( id int, name string, gender string ) 2、创建表写入想要存放的位置 create table emp( id int, ......原创 2018-10-13 20:24:33 · 386 阅读 · 0 评论 -
以慕课网日志分析为例 进入大数据 Spark SQL 的世界 ---课程笔记--未完待续
第一章 初探大数据 1、什么是大数据？ 大数据特征：4V 数据量(Volume) PB、EB、ZB 给予高度分析的新价值(Value) 巨额数据里面提取需要的高价值数据 速度(Velocity) 实时流处理，电商推荐系统，在你浏览或买过商品，按照先关信息给你推荐 ......原创 2018-10-08 07:56:46 · 1779 阅读 · 8 评论 -
HIVE ls: cannot access /usr/spark/lib/spark-assembly-*.jar: No such file or directory
找到/hive/bin进行编辑vi hive原创 2018-10-08 16:12:26 · 1725 阅读 · 1 评论 -
HIVE Relative path in absolute URI: ${system:java.io.tmpdir%7
Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D修改hive-site.xml文件<property> <name>hive.exec.local.scratchdir</name> <value>$HIVE_HOME...原创 2018-10-08 18:00:01 · 4817 阅读 · 4 评论 -
HIVE A read-only user or a user in a read-only database is not permitted to disable
因为db.lck的所属权限问题造成的发现db.lck属于root:root所以报错，改动例如以下：chown -R artifactory:artifactory db.lck原创 2018-10-09 20:17:44 · 1421 阅读 · 0 评论 -
HIVE hive-site.xml:396:113: The reference to entity “characterEncoding“ must end with the ‘；‘ delim
系统识别不出某个字符，所以只要改为系统能够识别的就好了，一般是“&",有问题改为“&amp;"就好&lt;<小于号&gt;>大于号&amp;&and字符&apos;'单引号&quot;"双引号......原创 2018-10-16 16:12:57 · 1048 阅读 · 0 评论 -
HIVE 汉字是乱码显示设置+SecureCRT汉字显示乱码
去hive-site.XML里面查看jdbc:mysql://master:3306/sparksql?createDatabaseIfNotExist=true这个链接的sparksql表里面设置：alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PA...原创 2018-10-16 16:25:04 · 883 阅读 · 0 评论 -
HIVE 走近大数据之Hive进阶---慕课网---总结笔记--后续持续更新
HIVE进阶学习笔记1、load加载数据 1、语法：local本地路径，没有则是默认读取HDFS文件路径，partition数据存储到分区表内 load data [local] inpath 'filepath' [overwrite] into table tablename [partition (partition = val1)] 实例： ......原创 2018-10-16 17:28:00 · 644 阅读 · 0 评论 -
HIVE Exception in thread “main“ java.lang.IllegalArgumentException: java.net.URIS
将hive-site.xml文件中的${system:java.io.tmpdir}替换为hive的临时目录原创 2019-05-24 13:27:53 · 5131 阅读 · 2 评论 -
HIVE org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE
进行初始化OK原创 2019-05-12 00:22:26 · 990 阅读 · 0 评论 -
HIVE：Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
错误：hive> show tables;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaS...原创 2018-04-08 21:01:22 · 797 阅读 · 0 评论