hive 数字IP与字符串IP之间转换

最新推荐文章于 2023-04-15 16:46:25 发布
原创 最新推荐文章于 2023-04-15 16:46:25 发布 · 2.7k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何将字符串形式的IP地址转换为数字IP，以及反向操作的方法。通过具体实例演示了转换过程，包括使用bigint进行乘法运算和十六进制转换。

字符串IP：192.168.123.26   对应的   数字IP：3232267034

字符串IP --> 数字IP
cast(split("192.168.123.26","\\.")[0] as bigint)*256*256*256+cast(split("192.168.123.26","\\.")[1] as bigint)*256*256+cast(split("192.168.123.26","\\.")[2] as bigint)*256+cast(split("192.168.123.26","\\.")[3] as bigint)

数字IP --> 字符串IP
concat_ws('.',CONV(substr(hex(3232267034),1,2),16,10),CONV(substr(hex(3232267034),3,2),16,10),CONV(substr(hex(3232267034),5,2),16,10),CONV(substr(hex(3232267034),7,2),16,10))
 

【大数据Hive】hive 行列转换使用详解
congge_study的博客
01-20 8564
hive行列转换使用详解
hive----------定义两个udf功能：去除字符串两端双引号和时间格式化问题
weixin_43740680的博客
07-08 2094
1.UDF描述： （1） 用户自定义函数(UDF)是一个允许用户扩展HiveQL的强大的功能。用户可以使用Java编写自己的UDF，一旦将用户自定义函数加入到用户会话中(交互式的或者通过脚本执行的)，它们就将和内置的函数一样使用，甚至可以提供联机帮助。Hive具有多种类型的用户自定义函数，每一种都会针对输入数据执行特定“一类”的转换过程。 （2）在ETL处理中，ETL(是指：ETL是将业务系...
Hive Sql中IP地址和数字之间的转换
weixin_44034508的博客
04-28 4183
Hive Sql中IP地址和数字之间的转换 IP地址的格式有两种，一种是正常我们看到的IP地址，还有一种是一串数字； IP地址一般是一个32位的二进制数意思就是如果将IP地址转换成二进制表示应该有32为那么长，但是它通常被分割为4个“8位二进制数”（也就是4个字节每，每个代表的就是小于2的8 次方）。IP地址通常用“点分十进制”表示成（a.b.c.d）的形式，其中，a,b,c,d都是0~255之间...
hive_实现ip的十进制和点分十进制(xxx.xxx.xxx.xxx)之间的相互转换
weixin_52305312的博客
01-21 5766
hive实现ip的十进制和点分十进制(xxx.xxx.xxx.xxx)之间相互转换
4.12、ip地址转换函数
z2812470857的博客
04-15 2127
【代码】4.12、ip地址转换函数。
使用java将ip地址与数字进行相互转换（通groovy）
yes_is_ok的博客
06-21 1411
一、将ip地址转成long数值 将IP地址转化成整数的方法如下： 1、通过String的split方法按.分隔得到4个长度的数组 2、通过左移位操作（<<）给每一段的数字加权，第一段的权为2的24次方，第二段的权为2的16次方，第三段的权为2的8次方，最后一段的权为1 回到顶部 二、将数值转换为ip地址 将十进制整数形式转换成127.0.0.1形式的ip地址 将整数形式的IP地址转化成字符串的方法如下： 1、将整数值进行右移位操作（>>>），右移24位，右移时高
hive python ip地址的数据类型_Hive Udf：Python 实现 IP 转地理位置
weixin_39714763的博客
12-11 459
摘要在 hive 中，要实现某些功能写 SQL 不方便实现时， UDF (User-Defined Function 用户自定义函数) 就出现了。本文主要使用 Python实现 IP 转地理位置，期间遇到的各种问题也一并记录于此。前言大数据的朋友有个需求，需要把 hive 存储的 IP 地址转换成地理位置，便于后期对于用户行为的分析。由于我之前有使用 golang 写过一个给自己的服务： grpc...
ipv4和ipv6字符串转换成数字
06-04
根据给定的信息，本文将详细解释如何将IPv4与IPv6地址从字符串形式转换为`BigInteger`数字形式，以及反向操作的过程。 ### IPv4与IPv6简介 #### IPv4 IPv4（Internet Protocol Version 4）是互联网协议的第四版，...
纯真ip地址库解析hive udf实现
weixin_42496757的博客
08-20 850
纯真ip地址库解析hive udf实现 纯真IP地址库qqwry.dat解析代码https://github.com/difeng/qqwry hive udf实现，基于上述代码实现。利用该udf函数，方便做数据分析。 pom.xml中添加hive,hadoop相关依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifac
hive-udf(两地址间距离计算+省市区位置解析(Java代码))
05-07
Java中，可以编写函数来分析地址字符串，提取出省份、城市和区县等信息。这可能包括使用正则表达式匹配特定模式，或者创建一个包含中国所有省市区信息的查找表，通过查找匹配的地址段来确定地理位置。 在Hive中，...
使用Hive UDF和GeoIP库为Hive加入IP识别功能
01-30 5195
Hive是基于Hadoop的数据管理系统，作为分析人员的即时分析工具和ETL等工作的执行引擎，对于如今的大数据管理与分析、处理有着非常大的意义。GeoIP是一套IP映射数据库，它定时更新，并且提供了各种语言的API，非常适合在做地域相关数据分析时的一个数据源。 UDF是Hive提供的用户自定义函数的接口，通过实现它可以扩展Hive目前已有的内置函数。而为Hive加入一个IP映射函数，我们
关于hive中iP地址映射地域调研
扫大街的程序员
03-10 8968
说明：日常业务经常涉及到ip映射地域的统计，有一定的使用复杂度，本文结合业界几种现状，做一次综合测试评估。 什么是ip地址库 通过ip地址获取用户地理位置信息，一般包括的信息由国家、区域（省/州）、城市、街道、经纬度、ISP提供商等信息。 质量评价标准 粒度。 ip地址库中IP（段）对应的其他信息的精确程度。例如精确到国家还是市、县？不同的应用对IP地址库的粒度要求是不同的
数仓工具—Hive实战之UDF解析IP地址(2)
热门推荐
12-29 6万+
ip 转化为地址是非常常用的的一种UDF，UDF 读取外部文件，需要注意的是当你add file之后，你需要确定文件的路径，然后将其路径给赋值给UDF 中文件路径的变量
总结：编写Hive UDF自定义函数（通过IP地址查询所属省份地市和运营商）
amenhub
04-11 3083
文件记录字段包括：起始IP（Start_ip），结束IP（End_ip），运营商（IDC），省份（Province），地市（City） 1. 将输入的点分十进制IP地址转换成长数字类型 IP地址是一个32位的二进制数，将它划分为4个字节，每个字节是8位，因此每个字节所能表示的最大数字是2^8=255(从0开始) public static long ip2long(String ip) { if...
hive sql 输入网段 输出 广播地址和网络地址
weixin_40925318的博客
03-21 2274
需求：输入网段地址，输出网络地址和广播地址 输入： 101.132.10.0/24 输出： 网络地址：101.132.10.0 广播地址：101.132.10.255 有了这两个地址，就可以把所有可用ip求出来了 hivesql： -- 网络地址 整数形式 select cast(conv(CONCAT(lpad(conv(cast(split(split("101.132.10.0/24","/")[0],"\\.")[0] as bigint),10, 2),8,"0") ,lpad(conv(ca
Presto 与 Hive 语法学习
weixin_45866849的博客
04-09 5712
Presto 与 Hive 语法学习 文章目录Presto 与 Hive 语法学习1. Presto语法1.1 数据类型布尔值整数浮点固定精度字符串日期和时间结构网络地址UUIDHyperLogLogKHyperLogLog1.2 SQL 语句语法ALTER FUNCTION --改变函数ALTER SCHEMA --改变模式ALTER TABLE --改变表ANALYZE --分析CALL -- 调用过程COMMIT -- 提交CREATE FUNCTION -- 创建函数CREATE ROLE --创
Hive转换常用函数
lovelin66的博客
08-18 3326
1、数值函数 指定精度取整函数 : round 语法: round(double a, int d) 返回值: DOUBLE 说明: 返回指定精度d的double类型 举例： hive> select round(3.1415926,4); 3.1416 向下取整函数 : floor 语法: floor(double a) 返回值: BIGINT 说明: 返回等于或者小于该double变量的最大的整数 举例： hive> select floor(3.1415926); 3hive>
Hive Sql/Spark Sql语法
nupter
02-26 781
hive字符串转数字：max(CAST(split(split(description,'pdtime=')[1],'\;')[0] AS BIGINT) )
ip地址与整数相互转换
marho
07-06 2万+
1、ip地址转成整数 原理：ip地址的每段可以看成是一个0-255的整数，把每段拆分成一个二进制形式组合起来，然后把这个二进制数转变成整数。 举例：一个ip地址为10.0.3.193 每段数字             相对应的二进制数 10                   00001010 0                    00000000 3
hive库中IP转int的函数是什么
最新发布
11-26
Hive SQL中并没有直接提供将IP地址转换为整数的内置函数。但是，你可以通过字符串操作和一些计算步骤来实现这个转换。一种常见的方法是将IP地址分割成四个部分（每个部分是一个十进制数字），然后将它们连接起来形成一个整数。例如，你可以使用`split()`函数来分割IP地址，再用`cast()`函数将其转换为整型。 ```sql SELECT CAST( CONCAT( cast(SUBSTRING(ip_address, 1, 1) as int), cast(SUBSTRING(ip_address, 3, 1) as int), cast(SUBSTRING(ip_address, 5, 1) as int), cast(SUBSTRING(ip_address, 7, 1) as int) ) AS BIGINT FROM your_table; ``` 这里假设`ip_address`是你表中的列名，且每个部分都是单字符。请注意，这种方法并不保证所有IPv4地址的有效性，因为它假定每个部分都恰好是一个数字。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值