总结:编写Hive UDF自定义函数(通过IP地址查询所属省份地市和运营商)

一个查询ip归属地的hive udf 背景 工作中会用到查询ip归属地的场景,购买了ip库数据,因官方不提供数据遍历方案,所以无法全量导入到hive中,只能使用udf进行查询。 数据源来自https://www.ipip.net/,数据格式为.ipdb,如:ipv4_china_cn.ipdb。 udf编码 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" 阅读详情

文件记录字段包括:起始IP(Start_ip),结束IP(End_ip),运营商(IDC),省份(Province),地市(City)

1. 将输入的点分十进制IP地址转换成长数字类型

IP地址是一个32位的二进制数,将它划分为4个字节,每个字节是8位,因此每个字节所能表示的最大数字是2^8=255(从0开始)

public static long ip2long(String ip) {
	if (ip.matches("\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}")) {
		String[] ips = ip.split("[.]");
		long ipNum = 0L;
		if (ips == null)
			return 0L;
		for (int i = 0; i < ips.length; i++)
			ipNum = ipNum << 8 | Long.parseLong(ips[i]);
		return ipNum;
	}
	return 0L;
}

按位或运算符" | "运算的规则是将两个数字的二进制数按右边对齐,进行或运算,有1为1,全0为0,例如

1110 1011 0011 1000 
1001 0110 0010 1010
1111 1111 0011 1010  <--或运算之后的结果

ipNum << 8表示二进制数ipNUm向左移8位,用十进制表达式表示就是十进制数ipNum * 2^8。
通过位运算符" | "将左移8位后的二进制数ipNum与通过每个点切割的ip字段进行按位或运算。
将IP地址比如10.1.12.110转化成长数字的过程:for循环,10左移8位循环三次,1左移8位循环两次,12左移8位循环1次,110后计算完毕。
因此结果可以用10*256*256*256 + 1*256*256 + 12*256 + 110表示,所得到的结果即为转换后的长数字类型的IP地址。

2.HiveServer2连接问题(User: root is not allowed to impersonate anonymous (state=08S01,code=0))
  1. 进入Hadoop/etc/目录,修改core-site.xml配置文件,添加如下代码:
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.[Hadoop用户名].hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.[Hadoop用户名].groups</name>
    <value>*</value>
</property>
  1. 进入Hive/conf目录,修改hive-site.xml配置文件,找到如下代码,将ip改成自己的:
<property>
	<name>hive.server2.thrift.port</name>
	<value>10000</value>
</property>
<property>
	<name>hive.server2.thrift.bind.host</name>
	<value>[改成你自己的ip]</value>
</property>
3. 将数组转换成List

代码如下:

List<String> list = new ArrayList<String>();
Collections.addAll(list, strArray);

通过Collections集合工具类的addAll()方法,将数组中的元素转换成二进制数据,然后添加到List中,非常高效。适合在对数组转换成List后还需要进行增删改操作的场景下使用。

4. 常用指令操作
  1. 添加记录(Hive)
load data local inpath '[文件路径]' [overwrite] into table [表名];

“overwrite表示覆盖之前所有记录,不加则为追加的方式添加“
  1. 添加Jar包(Hive)
add jar '[jar包存放路径]';
create temporary function [自定义函数名] as '[完整的Java包名和类名]';
add jar '/home/zhangsan/xxx.jar';
create temporary function xxx as 'com.xxx.xxx.类名';
实时AI系统重构:从时序契约到决策闭环的工程实践 实时AI不是简单提速,而是以事件时间为基石、以端到端时序契约为约束的数据智能范式升级。它要求突破批处理的时间盲区,解决事件漂移、状态失真与反馈断层三大本质问题;通过流式特征服务、在线学习和决策闭环等架构范式,将数据流、模型推理与业务执行深度耦合。其技术价值在于将AI从‘事后分析’推向‘事中干预’,支撑反欺诈毫秒拦截、智能客服上下文连贯、预测性维护精准预警等高时效场景。本文聚焦金融风控与智能对话两大典型落地路径,详解Flink CEP特征原子化、Triton低延迟推理、Pulsar分层存储等关键工程实现。 阅读详情

相关推荐

Hive sql正则获取省/市/区

hive sql 正则表达式、省市区

xiaojia0309的博客 6740

HIVE自定义UDF函数-IP地址解析

目录 需求背景 解决方案 Ip解析介绍​​​​​ pom.xml ConstantsGeoIp.java IpUtils.java UDFIp2Region.java ip2region.db 编译和打包 创建UDF 使用 需求背景 项目中埋点信息需要解析用户信息的地理位置信息,如果有经纬度信息,我们可以通过百度地图或者高德地图的API解析,但一般接口都是有次数限制或者收费的。这里我们通过解析IP地址获取用户(访问者)的地理位置。 解决方案 通过解析IP地址获取用户(访问者)的

xieedeni的博客 5019

Hive添加自定义UDF函数

1 编写UDF类 以简单的处理单个字段的UDF函数为例,开发自定义UDF函数需要继承’org.apache.hadoop.hive.ql.exec.UDF’类. 可以通过Maven添加,pom文件中加入(版本号跟Hive版本一致即可): dependency> groupId>org.apache.hivegroupId> artifactId>hive-execartifact

Liam's Blog (AI & BigData) 1万+

hive 数字IP与字符串IP之间转换

字符串IP:192.168.123.26 对应的 数字IP:3232267034 字符串IP --> 数字IP cast(split("192.168.123.26","\\.")[0] as bigint)*256*256*256+cast(split("192.168.123.26","\\.")[1] as bigint)*256*256+cast(split("192.16...

cxy1991xm的博客 2816

hive ipv4与十进制整数的转换

1、ipv4转十进制整数。2、十进制整数转ipv4。

1317

HIVE中如何实现针对IPv6 CIDR的查询

Hive默认情况下不支持IPv6 CIDR查询,因为IPv6 CIDR查询需要使用一些额外的函数。 但是可以通过使用UDF(用户自定义函数)来实现这一点。 IPv6 CIDR表示为网络地址/前缀长度,其中网络地址是一个IPv6地址,前缀长度是一个介于0和128之间的整数,表示网络地址中前多少位是网络地址,剩余的位是主机地址

penriver的博客 613

hive UDF 根据ip解析地理位置信息

hive UDF 根据ip查询对应地理位置信息hive UDF 根据ip查询对应地理位置信息具体实现源码 hive UDF 根据ip查询对应地理位置信息 基本原理: ip地址为四段字符串组成,一般同一个子网的ip同属于一个区域。如202.203.78.210/24 和202.203.78.220/24同属于202.203.78.0这个子网 属于云南昆明这个区域。所以为了方便查找我们就可以将ip字符串转为long类型整数来进行查找。 我们会将ip地址库加载进内存,然后使用二分查找来进行搜素并返回结果。 基本要

尤托匹亚的博客 2067

2D Nesting Defining a CSV File of Part Data

若。

qq_36560674的博客 1862

hive清洗nginx日志之根据IP获取对应城市

3,继承GenericUDTF重写initialize,process,close 1,引入ip2region(一个IP查询库,准确率99.9%的离线IP地址定位库,0.0x毫秒级查询,ip2region.db数据库只有数MB,提供了java,php,c,python,nodejs,golang,c#等查询绑定和Binary,B树,内存三种查询算法,比以往我们自己调网上的接口方便多了) 2,下载ip2region.db,需要的评论区告诉我 放在resource目录下 注意:URL url = new

qq_48959845的博客 846

什么!!!寒假就要准备暑期实习

介绍暑期实习,从作用,时间线,投递渠道,技术准备,常见问题,经验教训几个方面介绍暑期实习

今天不coding的博客 1726

JPA - @MappedSuperclass - 基类注解

目录前言代码示例 前言 @MappedSuperclass注解一般作为基类的注解,表眀该类是映射的超类,继承于它的子类实体在映射时会自动添加到子类实体的对应数据库表中,用于共同的属性代码复用和模型分离。 代码示例 BaseEntity.java import lombok.Getter; import lombok.Setter; import javax.persistence.MappedSuperclass; import java.util.Date; @Getter @Setter @Ma

Maggieq8324的博客 2066

多维聚合实战:超越GROUP BY的五步数据可信化流水线

多维聚合是BI分析与数据中台建设的核心能力,其本质远不止SQL中的GROUP BY语法——它涉及维度建模、稀疏性治理、时间对齐、空值语义区分及结果可验证性等系统性工程。在真实业务场景中,因维度未标准化、时间粒度不一致、稀疏组合缺失、多源键对齐失效等问题,常导致报表失真、同比错位、下钻崩坏。本文聚焦‘聚合即服务’理念,以稀疏矩阵填充、ISO周历对齐、维度主键映射、指标字典固化、数学约束校验五大关键技术为支点,构建从原始数据到可信聚合结果的端到端流水线,支撑电商、零售、金融等行业日均TB级数据的高保真、低延迟、

weixin_30718391的博客 546

scGPT实战指南:如何用生成式AI加速你的单细胞多组学研究?

本文提供了scGPT在单细胞多组学研究中的实战指南。详细介绍了从环境部署、数据预处理到细胞类型注释与扰动预测等核心任务的操作流程。通过利用生成式AI和Transformer基础模型,scGPT能够显著加速分析,并提升细胞注释的准确性及基因调控网络推断的深度,为研究人员提供了强大的AI分析引擎。

weixin_29215815的博客 403

机器学习部署四大模式实战指南:从特征一致性到边缘AI

机器学习部署不是模型上线的终点,而是工程化落地的起点。理解模型服务化、批量推理、实时特征工程、模型监控与边缘部署等核心概念,需回归其底层原理——即在数据漂移、资源约束、业务SLA与运维成熟度等现实约束下,对延迟、吞吐、可靠性与成本的系统性权衡。技术价值在于将不可控的AI黑盒转化为可观测、可回滚、可治理的生产资产;典型应用场景覆盖金融实时风控、医疗离线诊断、工业IoT流式预测及农业无人机边缘识别。本文聚焦真实项目中反复验证的部署模式选型逻辑与硬核调优经验,尤其深入特征一致性保障与边缘AI协同优化两大高频痛点。

weixin_30905133的博客 819

手把手教你学simulink(8.2)--simulink的实战案例:信号分析

通过以上步骤,你已经成功使用 Simulink 对信号进行了频谱分析和时域分析,提取了信号的有用信息。这个案例展示了如何创建 Simulink 模型、添加和连接模块、设置仿真参数、运行仿真以及分析结果。希望这个案例能帮助你更好地理解和使用 Simulink 进行信号分析。

MHD0815的博客 1126

《嵌入式最全面试题-Offer直通车》目录

嵌入式领域蓬勃发展,嵌入式工程师成为众多科技企业争抢的热门人才。如果你渴望在嵌入式面试中脱颖而出,成功斩获心仪的 offer,那么《嵌入式最全面试题 - Offer直通车》将是你的绝佳选择。本专栏是优快云是热门专栏,100多篇文章,总字数过百万。每月新增订阅用户过百,现在是优惠价9.9元,后面要逐渐恢复原价,早订阅早受益。本专栏精心整理了众多超万字的精华内容,总计达数十万字的嵌入式面试题总结。涵盖从嵌入式基础知识到各大厂面试真题,从驱动开发到操作系统,从硬件到软件等各个方面。

大模型大数据攻城狮的专栏 8405

Hive UDF IP解析(二):使用geoip2数据库自定义UDF

开发中经常会碰到将IP转为地域的问题,所以以下记录Hive中自定义UDF来解析IP。 使用到的地域库位maxmind公司的geoIP2数据库,分为免费版GeoLite2-City.mmdb和收费版GeoIP2-City.mmdb,不管哪个版本,开发的接口都是相同。 开发环境: hive-2.3.0 hadoop 2.7.3 jdk 1.8   1. 新建maven项目regionPa...

weixin_33786077的博客 1232

WordPress插件depicter存在SQL注入漏洞(CVE-2025-2011)

Depicter 是一款功能强大的 WordPress 幻灯片插件,允许用户通过直观的拖放编辑器轻松创建响应式滑块、轮播和动态内容展示。该插件提供丰富的模板库、动画效果和图层控制,支持多媒体内容嵌入(如图片、视频、HTML),并优化了移动端显示和SEO性能。其无代码操作界面适合非技术用户,同时提供高级自定义选项,适用于产品展示、营销推广和视觉叙事等多种场景,是提升网站视觉吸引力的高效工具。

m0_50125527的博客 556

Spark SQL的自定义函数UDF

Spark SQL的自定义函数UDF 1. 背景 在SQL使用时,会有内置函数,但如果业务比较复杂,但又希望可以有更加灵活的函数使用和复用,则需要自定义 UDF,就是user defined function,可以分为UDTF、UDAF UDTF,user defined table-generating function,就是将数据打散 UDAF,user defined aggregating function,就是将数据聚合。 2. 创建和使用UDF 下述会使用案例来展示如何使用自定义函数 2.1

xiaohu21的博客 4735

第38节:cesium 风场效果(含源码+视频)

cesium 风场效果

qq_29384639的博客 2332

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

python或hive根据ip计算地域分布的算法

1.使用场景 (1.适用于大数据量的ip地域分布场景。 (2.python程序和ip库见附件。 (3.稍作改动,可用于hive中。 2.使用方法: python findarea.py --dealListFile=test_ip_dealListFile_20130930.txt --resultWriteFile=test_ip_resultWriteFile_20130930....

算法与数据挖掘 536

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

HIVE自定义UDF函数-经纬度转换成省市地址

目录 1.需求背景 2.解决方案 3.代码pom引用 4.代码集成UDF 5.编译jar包 6.使用说明 7.将jar包放到hdfs 8.创建持久化function 9.测试 10.结语 1.需求背景 用户行为埋点数据中存在经度、维度,需要通过hive分析数据所在地址信息。 2.解决方案 通过HIVE的自定义UDF函数,自己实现经纬度转换成地址信息集成百度接口查询。 3.代码pom引用 <?xml version="1.0" encoding="UTF-8"?&g..

xieedeni的博客 3705

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

hive添加IP解析的udf函数_java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.node.ObjectNode.<init>...

这个问题着实是个大坑啊,使用mr解析用户ip没有问题,然后,想直接使用相同代码在hive中添加udf函数,不断地掉坑啊,踩坑踩了两天,总算是解决了。 1、编写代码 public class IP extends UDF{ private static Logger log...

chuzhanjiao8628的博客 1130

hive python ip地址的数据类型_Hive Udf:Python 实现 IP 转地理位置

摘要在 hive 中,要实现某些功能写 SQL 不方便实现时, UDF (User-Defined Function 用户自定义函数) 就出现了。本文主要使用 Python实现 IP 转地理位置,期间遇到的各种问题也一并记录于此。前言大数据的朋友有个需求,需要把 hive 存储的 IP 地址转换成地理位置,便于后期对于用户行为的分析。由于我之前有使用 golang 写过一个给自己的服务: grpc...

weixin_39714763的博客 501

hive UDF 分享 通过IP地址获取 IDC/省份/城市

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33686714的博客 1061

Hive自定义UDF函数

UDF:一进一出(User-Defined-Function) UDAF:多进一出 (count、max、min) UDTF:一进多出 自定义UDF代码 public class Lower extends UDF{ //大写转换为小写 public String evaluate(final String s) { if(s == null) { return null; ...

开水烫鱼的博客 459
上一篇: 常用的降维方法
下一篇: windows下使用eclipse操作虚拟机中hdfs上的文件时报错:java.io.IOException: No FileSystem for scheme: hdfs
shmilygkd
博客等级 码龄10年 1粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值