shell获取URL中协议、域名、端口和Path

解析HTTP协议关键信息
最新推荐文章于 2024-05-28 10:57:16 发布
原创 最新推荐文章于 2024-05-28 10:57:16 发布 · 2.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shell #awk #操作系统

本文详细解析了如何从HTTP URL中获取协议、域名、端口和路径等关键信息，通过使用bash命令行工具如echo、awk和cut，实现对HTTP URL的深入分析。
获取协议
echo "http://www.baidu.com:80/ABCD/a.txt" | awk -F':' '{print $1}'
# 输出http
获取域名 
echo "http://www.baidu.com:80/ABCD/a.txt" | awk -F'[/:]' '{print $4}'
# 输出：www.baidu.com
获取端口 
echo "http://www.baidu.com:80/ABCD/a.txt" | awk -F'[/:]' '{print $5}'
# 输出 80
获取Path 
echo "http://www.baidu.com:80/ABCD/a.txt" | cut -d/ -f4-
# 输出 ABCD/a.txt

 

 

 

 

终于有人把域名和DNS服务器给写明白了
TrueDei
05-10 5万+
终于有人把域名和DNS服务器给写明白了
通过C++和shell脚本去解析URL && c++调用shell脚本后将脚本的内容返回给程序
忘世麒麟的专栏
09-29 2480
将UTF-8格式的URL解码成原来的格式，如果完全按照C++写，肯定要写一个类，封装解码操作，用的时候需要：构造一个对象、调用函数、析构该对象。但是假如是shell脚本做这个事，那仅仅两行代码就好了。 这篇文章还提供了一个思路:在用C++调用shell脚本的时候,如何将脚本运行的结果返回给c++处理.
shell脚本——爬取域名一级页面元素并判断其可缓存性
weixin_34038652的博客
03-04 150
来了一个域名如何判断其缓存与否，高大上的专业爬虫当然可以做分析，如果不是很严谨的分析，通过shell脚本也可以实现，来看看我这个一层页面的小爬吧，哈哈哈，先脚本执行后的结果图：在处理的时候，会用elinks把页面上所有的元素爬出来，并做统计，用curl探测头信息，通过cache-control头来做判断是否可缓存，如果一个域名下超过70%的url可缓存，那么我就简单认为...
linux的shell获取ip和端口,linux下shell获取目标IP的地区和运营商信息
weixin_33456452的博客
05-02 321
复制内容到剪贴板代码:
搜索子域名的shell脚本
weixin_52525635的博客
02-14 367
找到megacorpone.com 的子域并找到相对应的IP地址
shell 切割URL获取文件名
xdreamman的博客
08-29 2135
业务逻辑： 请求URL 得到新的URL，然后wget 指定文件名，下载文件 url=http://baidu.com/clouddd_file/recoddrd/impddort/enddd2end/casdde_10/casdde_10.tar.gz # 规则 ${parameter//pattern/string} # \/ 表示反斜杠转义，把/替换为空 filename_list...
利用Shell脚本监控SSL域名证书有效期
最新发布
正义的卓别林的博客
05-28 1969
1、登录钉钉电脑版，进入“设置”页面，找到“机器人”选项，并点击“添加机器人”按钮。2、在弹出的窗口中选择“自定义”类型，并根据提示完成机器人的创建。3、在创建过程中，可以设置机器人的安全选项，如关键词、加签、IP等。本文使用关键词作为安全设置方式。4、完成创建后，记录好钉钉机器人的webhook地址，以便在脚本中使用。
Shell脚本入门（六）--- expect、$$,$?,$#、vmstat、shell PATH
Neko的博客
11-17 493
云计算学习day26 文章目录云计算学习day26@[toc]expectexpect自动交互流程：说出 $$ $! $? $# PATH变量分别是啥？PATH:存储所有命令所在的路径Shell PATH变量用法详解：系统查找命令的路径vmstat 查询系统瓶颈[使用率占用资源]vmstat 是系统监控 抓取系统瓶颈指标的命令检测CPU是否正常数组引用监控域名存活 expect spawn 交互程序开始后面跟命令或者指定程序 expect
单机多实例部署：Tomcat避免单点故障与域名端口管理
Nginx可以根据请求的URL前缀将流量转发到对应Tomcat实例的服务端口，实现域名共享和实例间的负载均衡。 通过以上步骤，用户可以在一台服务器上实现多个Tomcat实例的部署，从而提高系统的灵活性和可靠性。这种配置...
【Nginx多协议支持秘籍】：HTTP和HTTPS无端口访问的配置详解
[【Nginx多协议支持秘籍】：HTTP和HTTPS无端口访问的配置详解](https://linuxize.com/post/redirect-http-to-https-in-nginx/featured.jpg) # 摘要 Nginx作为一种高性能的Web服务器和反向代理服务器，因其多协议...
一个批量域名解析的Shell脚本例子
04-07
Shell Sample 博文链接：https://flyfoxs.iteye.com/blog/1563992
通过域名取得IP的脚本
11-01
一个很小的bat脚本，可以实现通过域名找到IP地址，并写到excel文档中去。
Shell脚本批量解析域名到IP
niaooer的博客
02-18 2468
#!/bin/bash #yum install bind-utils -y ##检查是否安装nslookup function lookupSingleIp(){ # echo $@; for domain in $@; do [[ -z $domain ]] && continue; # -z 判断$domain是否为空 ...
几个有用的Shell，解析json,解析URL
热门推荐
Jinhill's Blog
07-25 4万+
1.解析简单json#!/bin/bash s={"rv":0,flag:1,"url":"http://www.jinhill.com","msg":"test"} parse_json(){ echo $1 | sed 's/.*'$2':\([^,}]*\).*/\1/' } echo $s value=$(parse_json $s "url") echo $value2
shell脚本实现提取交换机端口的序列号
Clihome的博客
02-18 749
shell脚本实现提取交换机端口的序列号 结合grep、sed、awk实现，原创不易，请多多关照！
echo "http://172.17.26.115:8380/?key=%c8%fd%d0%c7%ca%d6%bb%fa%b1%f9%cf%e4" | mail -s "noresult_monit...
weixin_34210740的博客
03-06 1168
mail -s 发邮件
对url字符串中域名的三种截取方式
珉辰大数据
03-14 1万+
//业务需求：将网站URL地址进行截取，获得网站的主域名。 //3种截取方式：切分，indexOf截取，正则表达式截取 代码如下： public class Test1 { public static void main(String[] args) { String Str = “http://www.baidu.com/free/play?chapterId=7
根据url提取网站域名的方法小结
weixin_33831673的博客
10-14 414
前言：最近使用到了他人总结的一个基础类库。查看了下源码，发现String帮助类的一个辅助方法不是很严谨，重构之。 1、原来程序的写法 public static string GetDomainName(string url) { Regex reg = new Regex(@"http(s)?://([\w-]+\.)+[\w-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值