- 博客(25)
- 收藏
- 关注
RSS订阅原创 hive sql删除执行当天的分区
一、场景描述：对于一个以日期作为分区的表，当我们要删除一个分区时alter table tb drop partition(dt='2022-05-30');如果我想每天在执行脚本前，先删除今天的分区alter table tb drop partition(dt=current_date());但这种语法Hive是不支持的：分区不能使用函数二、解决方法1、一般的解决办法是使用shell或者调度工具，每次执行脚本时将当天日期传入变量alter table tb dro
2022-05-30 11:22:14
2264
原创 FTP使用中遇到的坑
问题：FTP服务修改了端口号后，客户端在FTP上可以成功登录，但无法访问目录和传输文件原因：经过排除，发现是数据传输端口号被禁用了解释：关于FTP的数据传输端口，要先说一下FTP的两种模式：1、主动模式该模式下，FTP服务可以设置固定的数据传输端口这样会有一个问题：设置的端口在客户端上被占用，或者被防火墙拦截了，就会导致上述的问题主动模式的优势还是有的，就是端口号固定，服务端方便管理2、被动模式该模式下，FTP服务可以设置一个范围，用于数据传输端口的使用，具体的端口号在传输的
2022-04-13 18:15:41
1942
原创 hive和impala使用udf
1、Hive创建udf函数DROP FUNCTION IF EXISTS default.rsa_encoder;CREATE function default.rsa_encoder as 'com.howe.hive.udf.encoder.RsaEncoder' using jar 'hdfs://hacluster/user/hive/udf/MyUdf.jar';2、Impala创建udf函数CREATE function rsa_decoder_impala location
2022-04-06 11:47:54
2433
原创 Hive udf函数实现RSA使用
1、生成RSA密钥对（公钥和私钥）import sun.misc.BASE64Encoder;import java.security.Key;import java.security.KeyPair;import java.security.KeyPairGenerator;import java.security.SecureRandom;private static final String ALGORITHM = "RSA";private static final int KE
2022-04-06 11:23:41
1758
原创 解决idea maven打包每次都重新下载依赖包的问题
打开 File - Settings，搜索 Maven，勾选 Work offline 即可
2022-03-31 11:23:45
7603
原创 hive小技巧
1、显示表头（列明）set hive.cli.print.header=true2、hive code2 增大资源配置set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions=80000;set hive.exec.max.dynamic.partitions.pernode=10000;set map
2022-03-29 15:35:20
3666
原创 hive调优
1、hive code2 增大资源配置set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions=80000;set hive.exec.max.dynamic.partitions.pernode=10000;set mapreduce.map.memory.mb=8192; set mapreduce.red
2022-02-17 15:48:38
970
1
原创 修改Linux文件格式为unix
1、修改文件vi xx.sh2、修改文件格式: set fileformat=unix3、查看修改结果: set ff
2022-02-17 11:54:36
7841
原创 Java传递函数的原理
总所周知，jdk1.8以上支持使用 lambda 作为参数传递list.forEach(t -> System.out.println(t));我之前就一直有一个疑问：java也开始支持函数型的参数了？到今天真正用到，才明白其中的原理看一下 forEach的源码default void forEach(Consumer<? super T> action) { Objects.requireNonNull(action); for (T t : this
2022-01-28 09:53:59
1653
原创 beeline报错：return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
在执行beeline -u jdbc:hive2://127.0.0.1:10000 -n root -p password -e "truncate table xxx;"的时候报错：Driver: Hive JDBC (version 2.1.1-cdh6.3.2)Transaction isolation: TRANSACTION_REPEATABLE_READError: Error while processing statement: FAILED: Execution .
2021-12-13 15:43:07
2402
原创 Hive UDF实现RAS加密解密
话不多说，直接上代码RSA加密：import org.apache.commons.codec.binary.Base64;import org.apache.hadoop.hive.ql.exec.MapredContext;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;import org.apache.had
2021-12-10 18:00:05
890
原创 Oracle替换特殊字符0xC2A0
方案一：SELECT replace(字段, HEXTORAW('C2A0')) FROM dual;不生效方案二：SELECT replace(字段, utl_raw.cast_to_varchar2('C2A0')) FROM dual; 还是生效方案三：SELECT replace(字段, chr(49824)) FROM dual;正解。49824是C2A0（十六进制...
2021-11-02 11:39:25
872
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人