用awk反转URL中的HOST部分

最新推荐文章于 2025-11-30 16:24:14 发布
原创 最新推荐文章于 2025-11-30 16:24:14 发布 · 786 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#url

本文介绍了一个使用 AWK 编写的脚本，该脚本能从给定的文本中解析并重构 URL，通过逆序输出域名部分及保留路径信息，实现特定格式的 URL 重构。
awk -F'/' '{if($3!=""){printf("http://");num=split($3,arr,".");for(i=num;i>1;i--)printf("%s.",arr[i]);printf("%s",arr[1]);for(j=4;j<=NF;j++)printf("/%s",$j);printf("/n")}}'
第26章 Shell 文本处理三剑客（grep/sed/awk）：基础语法与联合使用
猪猪侠
12-12 19
文本处理是 Shell 脚本开发的核心技能，而 grep、sed、awk 被誉为 Linux 文本处理的"三剑客"。它们各自擅长不同的处理场景：grep 精通模式搜索，sed 擅长流编辑，awk 善于结构化数据分析。掌握这三件神器，你将能够高效处理各种复杂的文本数据，实现日志分析、配置文件修改、数据提取等实用功能。
运维面试题
热门推荐
weixin_42690304的博客
09-18 2万+
运维面试题 NETWORK 1 请描述TCP/IP协议中主机与主机之间通信的三要素 参考答案 IP地址（IP address） 子网掩码（subnet mask） IP路由（IP router） 2 请描述IP地址的分类及每一类的范围 参考答案 A类1-26 B类128-191 C类192-223 D类224-239组播(多播) E类240-254科研 3 请描述A、B...
awk实现url解码
12-14
boa-0.94.13：CGI中文问题配套代码
linux--awk url拼接
起点的专刊
05-16 1922
刚刚在工作过程中碰到一个小问题，后来朋友给了提示，解决出来了！在这里分享一下 问题描述： 20180208/288235490/174_align_1.jpg 264 285 536 176 26 1 1 1 1 20180208/288235490/153_align_1.jpg 386 402 307 349 25 1 1 1 1 20180208/288235490/484_...
awk处理带参数的url
atzqtzq的博客
11-01 422
使用awk取日志:awk -F '&' '/partner=20003274/ {print $5}' 2017-10-31/sendLog.log |uniq >> sendLog/sendLog_9_10.log 使用sed替换不需要的字符:sed -i 's/sysnumber=//p' 2017-09-01.log ...
日志分析   取出访问最多的IP，URL，以及五分钟内的访问流量
weixin_34007879的博客
05-06 627
日志分析！对最近五分钟的日志进行分析，取出访问最多的IP，URL，以及五分钟内的访问流量#!/bin/sh name=`cat/etc/salt/minion|grep"^id"|awk'{print$2}'` ipaddr=`/sbin/ifconfig|grep"inetaddr"|egrep-v"10\.|127\."|awk-...
linux怎么破解url过滤,如何通过awk去截取网上下载的url数据
weixin_39827304的博客
05-25 241
afaffsafafa 于 2015-01-23 21:04:33发表:RAKsmart分享站群服务器操作具体手法做站群要注意1、域名现在的站群的域名上的规律显而易见，注册时间都在两三天内，大多数域名都是廉价的info域名，因此，以后百度势必会对这种域名作出判断，如果以前想做站群，可以试着从现在就开始注册域名，让站群的域名注册时间分开一些，一段时期内注册一些，而且尽量少用info域名，现在的in...
17、Unix 系统日志文件管理全攻略
最新发布
dropout6artist的博客
11-30 35
本文深入探讨了Unix系统中日志文件的全面管理方法，涵盖日志文件的基础知识、常见日志内容分析（如messages、secure、httpd等）、潜在安全威胁的识别与追踪、使用logrotate工具进行日志轮转配置，以及如何编写自定义日志轮转脚本。通过实际命令示例和案例分析，帮助系统管理员有效监控系统行为、发现入侵尝试、优化磁盘空间使用，并提升整体系统安全性与稳定性。
1、掌握 Linux Shell 脚本编程的实用指南
brandy的博客
06-21 124
本文是一篇关于 Linux Shell 脚本编程的实用指南，详细介绍了从基础操作到高级应用的多种技能。涵盖文件处理、文本处理工具、网络操作和数据备份等关键主题，适合初学者和有经验的用户学习参考。作者Sarath Lakshman分享了丰富的示例代码和实践建议，帮助读者提高工作效率并解决实际问题。
测试人生 | 从外包到测试开发，薪资一年翻三倍，连自己都不敢信
hogwarts_2022的博客
04-25 755
原文链接 本文为霍格沃兹测试学院优秀学员学习心得与面试经验分享，进阶学习文末加群！ 本人本科就读于某普通院校（很普通的那种技术示范学院），毕业后懵懂的加入了软件测试这个行业，至今有三年工作经验。通过在霍格沃兹测试学院的这段学习经历，我的职业角色完成了从功能测试到外包测试，再到测试开发的转变，并顺利拿下某互联网企业测试开发岗位Offer，年薪35W+（跳槽两次，薪资一年内翻了近三倍）！这里特别感谢各位老师和同学的帮助，也分享下自己的一点学习心得和成长经验。 吃过手工测试的苦，才懂测试开发的甜 我之前主要在两
linux 解析url命令,linux下grep分析apache日志的命令
weixin_33929779的博客
04-29 287
linux命令是对Linux系统进行管理的命令。对于Linux系统来说，无论是中央处理器、内存、磁盘驱动器、键盘、鼠标，还是用户等都是文件，Linux系统管理的命令是它正常运行的核心，与之前的DOS命令类似。那么你知道linux下grep分析apache日志的命令么?接下来是小编为大家收集的linux下grep分析apache日志的命令，欢迎大家阅读：linux下grep分析apache日志的命令...
封装一个提取url参数的小方法
loushengyue
12-17 2019
假如当你需要从这样一个http://www.loushengyue.com/test_好好.html?id=8&amp;name=loushengyue&amp;age=18&amp;sex=男#box URL中提取相关参数（比如：id,name）时，是不是想到用正则法split(/\?|\&amp;/g) 分割url的方式提取，然后版本更新需要增加参数时，也许你会很苦恼，因为bug来了，为了尽可能的减少bug，我们不妨来封装一
运用awk提取日志文件中的IP地址
kid00013的博客
05-10 2124
在我们的日常工作中，可能会遇到各种不同的问题，有来自内部，有的来自外部。 以Nginx服务为例，服务上线之后可能会遭受非法的流量攻击，我们在配置Nginx服务时可以通过Nginx.conf配置文件中的http模块，来过滤那些高频访问服务的IP地址，将其输出到access.log文件中。 但是日志中的IP地址众多，我们该如何根据需要来提取这些IP地址呢，下面我就介绍一下使用awk提取IP地址的方法 需求：统计出日志文件中503次数最多的前三个 IP 首先，我们想要提取日志文件中的IP地址，就要知道
Linux 抓取网页实例（shell+awk）
yuanlanjun
06-05 1047
上一篇博客讲了Linux抓取网页的方式，有curl和wget两种方式，这篇将重点讲Linux抓取网页的实例——抓取google play全球12国的游戏TOP排名 要抓取google play游戏排名网页，首先需要分析网页的特点和规律： 1、google play游戏排名网页，是一个就“总-分”形式，即一页网址显示若干排名（如24个），有若干个这样的网页组成全部游戏的总排名 2、每页网址中，点击每...
截取字符串
小财迷嘻嘻的博客
08-29 260
脚本内容： #!/bin/bash s="http://www.baidu.com/root/123.html" echo $s | awk -F '//' '{print $2}' echo $s | awk -F '/' '{print $5}' | awk -F '.' '{print $1}' echo $s | awk -F '.' '{print $3}'| awk -F '/' '{print $1}' 执行结果： www.baidu.com/root/123.html 123 com ..
Awk使用及网站日志分析
Tao_cuichen的博客
04-21 1万+
Awk使用及网站日志分析         Awk简介 概述 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。awk程序的报告生成能力
shell获取URL中协议、域名、端口和Path
The Big Data Way
03-02 2889
获取协议 echo "http://www.baidu.com:80/ABCD/a.txt" | awk -F':' '{print $1}'# 输出http 获取域名  echo "http://www.baidu.com:80/ABCD/a.txt" | awk -F'[/:]' '{print $4}'# 输出：www.baidu.com 获取端口  echo "http://...
Angular项目中使用AWK生成静态URL列表教程
静态路由具有固定的URL模式，而动态路由则包含一个或多个参数，这些参数在实际URL中被具体的值所替代。该资源主要关注静态路由的解析。 3. **AWK脚本工具**：AWK是一种编程语言，特别擅长于文本处理和数据提取。AWK...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值