- 博客(7)
- 收藏
- 关注
RSS订阅原创 关于在hive中使用udf函数编写sm4加密遇到的问题总结
在使用java进行udf函数编写的过程中发现，insert select语句 和select 语句在相同的前提条件下，加密出来的中文结果不一致。但如果是使用insert select 语句去查询加密字段，该加密字段是自己传入进去的，那么代码中的日志又会被打印出来。经过测试以及观察打印的日志后发现，如果使用insert select语句去查询加密字段，那么代码中的日志是不被打印的。经验证后，加密后的数据再进行解密发现中文乱码的问题解决。同时，此种情况下的中文加密后再经解密不存在乱码情况。
2023-07-06 11:34:49
1239
2
原创 sqoop导出到mysql和postgre语句模板
将hive数据导出到MySQL bin/sqoop export \ --connect "jdbc:mysql://IP:3306/test?useUnicode=true&characterEncoding=utf-8" \ --username 用户名\ --password '密码' \ --table 表名\ --num-mappers 1 \ ##指定map个数 默认为1 --export-dir 'HDFS路径' \ --input-fields-terminated-by "\t
2021-08-12 11:57:49
506
原创 MySQL批量查某个库里每张表的数据量
SELECT table_name,table_rows FROM information_schema.tables WHERE TABLE_SCHEMA = ‘表名’ ORDER BY table_rows DESC;
2021-08-12 11:46:32
535
原创 SQL进行特殊符号的替换
SQL进行特殊符号替换 使用replace语句替换换行符：REPLACE(REPLACE(字段名,CHAR(10),’’) as 字段名 退格键 char(8) 制表符tab char(9) 换行 char(10) 回车 char(13) 单引号 char(39) 双单引号 char(34)
2021-07-06 16:56:32
3245
原创 load语句报分区could not be cleaned up
##load语句问题 在把一个分区删除后，直接使用load语句去进行overwrite into table 会报错 报错如下： 当我将overwrite into table 改称为 into table之后 报错消失，load成功
2021-05-10 10:23:06
445
空空如也
hive使用udf函数时，insert select 和直接select出来结果不一致
2023-06-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人