根据url提取网站域名的方法小结

一个查询ip归属地的hive udf 背景 工作中会用到查询ip归属地的场景,购买了ip库数据,因官方不提供数据遍历方案,所以无法全量导入到hive中,只能使用udf进行查询。 数据源来自https://www.ipip.net/,数据格式为.ipdb,如:ipv4_china_cn.ipdb。 udf编码 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" 阅读详情

根据url提取网站域名的方法小结
前言:最近使用到了他人总结的一个基础类库。查看了下源码,发现String帮助类的一个辅助方法不是很严谨,重构之。

1、原来程序的写法
飞秋-http://www.freeeim.com/
view sourceprint?01 public static string GetDomainName(string url) 

02   { 

03       Regex reg = new Regex(@"http(s)?://([/w-]+/.)+[/w-]+/?"); 

04       string result = reg.Match(url, 0).Value; 

05       if (result.IndexOf("http://") > -1) 

06       { 

07           result = result.Replace("http://", string.Empty); 

08       } 

09       else if (result.IndexOf("https://") > -1) 

10       { 

11           result = result.Replace("https://", string.Empty); 

12       } 

13       return result.Replace("/", string.Empty); 

14   }

2、改进方案

上面的写法,我认为不严谨的地方有两处:a、没有区分部分字符串的大小写(虽然通常传入的url都是小写http(s)开头的,使用起来问题不大);b、参数没有考虑为null的情况。下面给出我的几种解决方法,个人认为相对而言比较简洁严谨一些。

     (1)正则改进

  按照原来代码的写法,正则表达式是先提取出形如 http://www.freeeim.com/ 的形式的字符串,然后再处理字符串。字符串替换和hard coding看起来会比较多,而且,毫无疑问,上面代码中的正则提取的字符串稍显冗余。我的改进如下:


view sourceprint?1 public static string GetDomainName(string url) 

2      { 

3          if (url == null) 

4          { 

5              throw new Exception("输入的url为空"); 

6          } 

7          Regex reg = new Regex(@"(?<=[://])([/w-]+/.)+[/w-]+/?", RegexOptions.IgnoreCase); 

8          return reg.Match(url, 0).Value.Replace("/", string.Empty); 

9      }

    应该说这是比较忠实于源代码的一种实现。    


   (2)直接拼接字符串

  拼接字符串在实际开发中可以做很多事情,简单的域名提取自然不在话下。我们分析一下输入的url,发现很显著也很重要的一个特征就是通过斜线(/)来分割字符串,每一个分隔后的字符串分别表示不同的属性,如对应的协议名称,域名,站点名,页面名称等等。具体分割拼接提取的方法如下:


view sourceprint?01 public static string GetDomainName(string url) 

02    { 

03         if (url == null) 

04        { 

05            throw new Exception("输入的url为空"); 

06        } 

07        string result = string.Empty; 

08        string[] strArr = url.Split(new char[] { '/' }, StringSplitOptions.RemoveEmptyEntries); 

09        foreach (string item in strArr) 

10        { 

11            if (string.Compare("http:", item.ToLower()) == 0) 

12            { 

13                continue; 

14            } 

15            else if (string.Compare("https:", item.ToLower()) == 0) 

16            { 

17                continue; 

18            } 

19            result = item; 

20            break; 

21        } 

22        return result; 

23    }

           严格来说,这个是比较“笨”的方法,但是通俗易懂。


      (3)通过一个HttpRequest对象获取它的Url的Host


  平时我们都是通过HttpRequest对象获取它的Url的Host来获取网站域名,现在只有一个字符串参数url,很显然,我们会想到构造一个HttpRequest对象,然后按步就班即可。具体方法如下:


view sourceprint?01 public static string GetDomainName(string url) 

02 { 

03     string result = null; 

04     try

05     { 

06         HttpRequest request = new HttpRequest(string.Empty, url, string.Empty); 

07         result = request.Url.Host; 

08     } 

09     catch (Exception ex) 

10     { 

11         throw new Exception(string.Format("当前输入的URL:{0},发生异常:{1}", url, ex.Message)); 

12     } 

13     return result; 

14 }

       这个应该算是另辟蹊径的一种解决方案,可是必需要引用System.Web dll,作为基础类库,应该越少引用越好。

 

结语:到这里,根据url提取host的常规方法基本重构完成,没有过分考虑效率和性能,不知哪种会更快一点。期待您更好的方法和意见。

 

一道HIVE UDF笔试题-解析url字符串的主域部分 HIVE UDF案例。编写UDF,获取URL字符串的主域部分 阅读详情

相关推荐

TCP协议学习小结

TCP协议学习小结 1. TCP协议使用广泛原因 文字文本数据量小,用TCP更精确。 UTP不可靠协议传输协议。(可以没有响应和校验) 传输速度快,但是传输的数据不可靠。 适合视频,音频。(网络传输的视频是像素值,部分缺失不影响,无损失的的清晰度高) 2. TCP协议传输中的字段 当属于某个主机的数据交换机未处理完成,其他的数据在端口排队,造成其他设备“断网”。 解决方案:将所有的数据中,超过一定数量的数据发送时,大的数据包分成小的数据包,之后在接收端重组,保证所有终端不断网。但是分散

weixin_45750855的博客 2119

HIVE自定义UDF函数-IP地址解析

目录 需求背景 解决方案 Ip解析介绍​​​​​ pom.xml ConstantsGeoIp.java IpUtils.java UDFIp2Region.java ip2region.db 编译和打包 创建UDF 使用 需求背景 项目中埋点信息需要解析用户信息的地理位置信息,如果有经纬度信息,我们可以通过百度地图或者高德地图的API解析,但一般接口都是有次数限制或者收费的。这里我们通过解析IP地址获取用户(访问者)的地理位置。 解决方案 通过解析IP地址获取用户(访问者)的

xieedeni的博客 5019

数仓工具—Hive实战之UDF解析IP地址(2)

ip 转化为地址是非常常用的的一种UDF,UDF 读取外部文件,需要注意的是当你add file之后,你需要确定文件的路径,然后将其路径给赋值给UDF 中文件路径的变量

6万+

SpringBoot+Vue前后端分离的医院急诊资源调度与可视化大屏系统实践

前后端分离架构已成为现代Web应用开发的主流范式,SpringBoot与Vue的组合凭借成熟生态和高效开发体验,被广泛用于各类业务系统。其中,资源调度与可视化大屏是提升管理效率的关键环节。以医院急诊场景为例,患者到达随机性强、病情分级复杂,床位周转快,传统人工白板已难以满足实时决策需求。围绕急诊资源调度与床位管理,需要构建从分诊登记、自动分级、床位分配到数据可视化的一体化系统。基于SpringBoot+Vue搭建后端服务与前端界面,通过MySQL存储患者、床位及调度记录,利用ECharts实现实时大屏展示,

weixin_33794672的博客 403

SQL进阶技巧:Hive URL解析函数详解及实际应用

本文根据实际业务中存在问题,对hive中url解析函数进行了详细分析,给出了具体的应用示例,并针对每种函数存在的问题进行分析,给出相应的解决方案。

石榴姐yyds 658

Python爬虫零基础入门【第二章:网页基础·第1节】网页是怎么工作的:URL、请求、响应、状态码?

我长期专注 Python 爬虫工程化实战,主理专栏 👉 《Python爬虫实战》:从采集策略到反爬对抗,从数据清洗到分布式调度,持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”,让数据价值真正做到——抓得到、洗得净、用得上。

喵手的博客 640

爬取目标网站的域名和子域名【网站子域扫描工具01】

使用 Python 的 requests 库发送 HTTP 请求,并使用 Beautiful Soup或者正则表达式来解析响应,从中提取出域名和子域名信息。

HAL9000的博客 1140

构建PHP域名转发系统项目实战

在数字化时代的背景下,域名转发系统作为一种高效的信息传输方式,为网络用户提供了便捷的访问体验。PHP域名转发系统是利用PHP编程语言实现的域名重定向解决方案,它通过服务器端脚本处理域名解析和请求转发,从而简化了用户对网站的访问。本章将探讨PHP域名转发系统的基础知识,包括其设计目的、工作原理以及在现代网络架构中的应用场景。在介绍PHP域名转发系统之前,我们需要了解它背后的网络基础——URL解析和HTTP重定向。

weixin_29940495的博客 739

php获得完整url,php 获取完整url地址

主要是获取到地址栏的一些信息,域名,端口参数等复制代码代码如下://获取域名或主机地址echo$_SERVER['HTTP_HOST']."";//获取网页地址echo$_SERVER['PHP_SELF']."";//获取网址参数echo$_SERVER["QUERY_STRING"]."";//来源网页的详细地址echo$_SERVER['HTTP_REFERER']."";?>php获...

weixin_34853336的博客 430

智能织梦:基于Rokid AR眼镜的家庭情感记忆增强系统设计与实践

本文介绍了基于Rokid AR眼镜的'智能织梦'系统,通过增强现实技术捕捉和重现家庭情感记忆。系统利用多模态传感器和轻量级情感识别模型,自动记录家庭互动中的情感峰值时刻,并生成沉浸式记忆片段。测试数据显示,该系统显著提升了家庭情感互动的频率和质量,特别适用于多代同堂家庭和记忆唤醒场景。

sre5engineer的博客 538

将点云坐标转换成世界坐标的demo

将点云坐标转换成世界坐标的demo

howard789的博客 2209

【PHP开发900个实用技巧】863.PHP parse_url():URL解析的“庖丁解牛”

PHP parse_url(): URL解析的“庖丁解牛”1. 庖丁解牛:掌握核心能力2. 火眼金睛:识破真面目3. 明察秋毫:特殊URL玄机4. 见微知著:重组与应用痛点:手动切割错误方案:组件提取技巧痛点:类型混淆崩溃方案:空值防御招式痛点:特殊字符陷阱方案:编码解码配合痛点:重组URL混乱方案:http_build_query妙用 目录:嗨,你好呀,我是你的老朋友精通代码大仙。接下来我们一起学习PHP开发中的900个实用技巧,震撼你的学习轨迹!获取更多学习资料请加威信:temu333 关注B占UP:技

1050

别再为H桥烧MOS管发愁了!手把手教你用IR2104搭建稳定电机驱动(附自举电路详解)

本文详细解析了使用IR2104半桥驱动芯片构建高可靠H桥电机驱动电路的全过程。从芯片内部架构、自举电路原理到PCB布局技巧和实战调试方法,帮助工程师彻底解决MOS管烧毁问题。重点讲解了自举电容选型、死区时间控制等关键设计要点,并附有示波器实测波形分析,是电机驱动设计的实用指南。

我的博客 740

第五十五集 Nginx服务的跳转Rewrite和正则表达式

Nginx服务的Rewrite和正则表达式

weixin_56656561的博客 397

【清风数学建模笔记】第十一讲:时间序列分析

【清风数学建模笔记】第十一讲:时间序列分析

manerzi的博客 835

NSIS教程(8): 基于第三方界面库的安装包界面

前面的几篇文章介绍了NSIS的传统界面的安装包和现代界面的安装包的制作方法,也提到了NSIS支持自定义页面(即使用page custom)的特性,自定义页面需要用户自己创建对话框、控件、添加控件响应等等,虽然NSIS提供了nsDialogs.nsh来支持这些功能,但使用起来还是不太方便(需要专门了解这个插件诸多用法),而且不够灵活,所以本文介绍一种终极的自定义界面的安装包解决方案,即完全使用第三方

while(1) { smile(); } 9万+

Scrapy定向爬虫教程(二)——提取网页内容

本节内容 在这一小结,我将介绍如何使用Scrapy通过Selector选择器从网页中提取出我们想要的内容,并将这些内容存放到本地文件。 我们的目标网页是http://www.heartsong.top/forum.php?mod=viewthread&tid=8,一个有七层楼的帖子。我们要获取到每一层楼的下列信息: 所属主题帖的标题所属主题帖的url这一楼层的作者这一楼层的发表时间这一

春华秋实 2084

优秀的 Verilog/FPGA开源项目介绍(六)- MIPI

MIPI的协议我就不详细介绍了(可以查看<下面的二维码>),这里和开源方案比较接近的即使FPGA实现MIPI物理层(DPHY)中电气属性相关的几种方案:MIPI DPHY RX...

OpenFPGA的博客 4460

nginx 安全加固心得

nginx发展多年,自身的安全漏洞比较少,发现软件漏洞,一般利用软件包管理器升级一下就好了。本文侧重讲述的不是nginx自身的安全,而是利用nginx来加固web应用,干一些应用防火墙(WAF)干的活。在做安全加固的时候,我们一定要头脑清晰,手里拿着刀,一刀一刀的切,将我们不想要的流量干掉,除去隐患。1、屏蔽IP假设我们的网站只是一个国内小站,有着公司业务,不是靠广告生存的那种,那么可以用geoi...

weixin_33910434的博客 506

基于Abaqus的横向各向同性线弹性理想塑性材料模型的umat子程序实现——以Fortran为例,带您揭秘弹性塑性模型编程之道

通过以上步骤,我们已经在Abaqus中使用Fortran实现了横向各向同性线弹性理想塑性材料模型的umat子程序。在实际应用中,我们需要根据具体的材料特性和加载条件来调整模型参数和计算过程。尽管我在这篇文章中尽力提供了详细的教程,但由于我自身的知识限制和经验不足,可能会有误解或错误。我希望大家在学习过程中能多思考,多实践,多交流,以更好地理解和掌握这个主题。

qq_38334677的博客 1691

/home 挂载点无法访问 怎么解决 指令可以进入Home目录 du: 无法访问“*“: 输入/输出错误

本文介绍了Linux系统中XFS文件系统损坏的故障排查与修复方法。当/home挂载点出现I/O错误时,通过dmesg发现XFS日志错误和磁盘I/O报错,判断可能是文件系统逻辑损坏或硬件故障。解决方案包括:1)尝试卸载分区;2)使用xfs_repair工具进行预检查和正式修复;3)在极端情况下使用-L参数强制清空日志;4)若存在硬件故障,建议优先进行数据抢救并更换硬盘。最后强调重要数据应先备份,再考虑系统重建。

专注于计算机研发知识和资讯分享 157

关于Scrapy爬虫框架中meta参数的使用示例演示(下)

点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤络纬秋啼金井阑,微霜凄凄簟色寒。/前言/上一篇文章我们已经了解了m...

pdcfighting的博客 905

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: 理解ASP.NET中的三层结构
下一篇: HP大中华区总裁孙振耀退休感言
普通网友
博客等级 码龄22年 1万+粉丝 3156原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值