- 博客(12)
- 收藏
- 关注
RSS订阅原创 hive基础文档
用户自定义函数类别分为以下三种：一进一出聚集函数，多进一出类似于：count/max/min一进多出如 lateral view explode()编程步骤：（1）继承 Hive 提供的类（2）实现类中的抽象方法（3）在 hive 的命令行窗口创建函数添加 jar创建 function在 hive 的命令行窗口删除函数流程添加案例1.新建maven工程,添加如下依赖/*** 自定义UDF函数* 输入：Tom* 输出：hello:Tom。
2023-04-14 15:41:03
803
原创 idea中安装jrebel热部署插件
idea中安装jrebel热部署插件jrebel作用安装激活jrebel jrebel作用 JRebel是一款JVM插件，它使得Java代码修改后不用重启系统，立即生效。IDEA上原生是不支持热部署的，一般更新了 Java 文件后要手动重启 Tomcat 服务器，才能生效，浪费时间浪费生命。 目前对于idea热部署最好的解决方案就是安装JRebel插件。 安装 1.打开idea -->> file -->> Settings -->> Plugins 2.搜索jre
2021-10-26 15:30:20
962
原创 hive自定义函数-手机号合法性自定义函数
hive自定义函数-手机号合法性函数简要代码结果： 简要 根据百度百科最新手机号码规则，编写的手机号合法判断自定义函数 https://baike.baidu.com/item/%E7%94%B5%E8%AF%9D%E5%8F%B7%E7%A0%81/1417271?fr=aladdin 此处仅实现了11位手机号码的实现方式 代码 import com.bigdata.hive.Tools.StringTools; import org.apache.hadoop.hive.ql.exec.Descript
2021-10-20 18:59:12
894
原创 hive自定义函数-空值过滤
hive自定义函数-空值过滤简要代码 简要 过滤数据 null ‘null’ ‘NULL’ ‘’ ’ ’ ‘\r\n’ ‘\t’ ‘\n’ 空值数据 代码 import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; import java.util.regex.Pattern; /** * 自定义UDF函数 * 功能：判断传入的字符是否为空 * null NULL
2021-10-20 11:30:42
756
原创 hive自定义函数-身份证号合法性判断
hive自定义函数-身份证号合法性判断简要代码 简要 身份证号合法性判断： 若为18位身份证号： 1.第18位数字，应该在身份证号最后一位校验位数字中 2.前17为数字分别乘以对应的加权因子，累加，结果%11==17为数字 3.数字除18位外，全为数字 若位15位身份证号： 1.验证前6位是为行政区号 2.9-10位为月份<13 3.11-12位为日期<32 4.数据全为数字 代码 import org.apache.commons.lang.StringUtils; import org.ap
2021-10-19 16:53:29
1649
2
原创 hive自定义函数-基于位置的数据脱敏
hive自定义函数-基于位置的数据脱敏简要代码 简要 该函数， 1.若想自动脱敏，可以仅传入数据即可 2.若想通过自己传入位置脱敏，又不想报错，可以传入数据，开始位置，结束位置即可 3.若想通过自己传入位置脱敏，且不和规数据不脱敏，代码报错，可以基于2，传入false 代码 package com.bigdata.hive.udf; import com.bigdata.hive.Tools.StringTools; import org.apache.hadoop.hive.ql.exec.Descri
2021-10-19 11:41:07
967
原创 数据挖掘学习笔记之matplotlib
数据挖掘学习笔记之matplotlib环境安装工具包版本安装命令折线图 环境安装 工具包 matplotlib 画图 numpy 高效运算工具 pandas 数据处理工具 TA-Lib 股票技术分析指标库 tables 读取hdf5类型文件 jupyter 数据分析与展示的平台 版本 matplotlib2.2.2 numpy1.14.2 pandas0.20.3 TA-Lib0.4.16 tables3.4.2 jupyter1.0.0 安装命令 pip install matplotlib2.2.2 p
2021-10-09 09:03:49
641
原创 flink cdc 实时读取MySQL全量数据，并转换为流
flink cdc读取mysql数据并转换为流代码 flink cdc 实时读取MySQL全量数据，并转换为流，区分insert|update和delete 代码 import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api._ import org.apache.flink.table.api.bridge.scala._ object Test{ def main(args: Array[String
2021-07-26 15:26:06
1033
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人