CURL shell 使用

weixin_30685047

于 2019-01-17 17:51:00 发布

阅读量339

点赞数

CC 4.0 BY-SA版权

文章标签： shell

原文链接：http://www.cnblogs.com/wanglijun/p/10283592.html

本文介绍了一个使用Bash脚本从特定网址抓取数据并解析URL的示例。脚本通过curl获取网页内容，然后使用sed进行数据清洗，提取URL，并检查其有效性。此方法适用于自动化数据抓取任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#! /bin/bash

requrl="http://www.baidu.com/xxxxxx"
while true
do

html=$(curl -s "$requrl")
url=$(echo "$html" | sed ':a;N;$!ba;s/\n//g' | sed 's/.*URL=//g' | sed 's/\].*//g')

  if [ ${#url} -gt 0 ];then
        doname=${url:0:20}
	myurl="http://www.baidu.com"
        if [ "$doname" = $myurl ]
	then
		requrl=$url
                echo "`date '+%Y-%m-%d %H:%M:%S'` - find URL:$url" 
        else
                echo "`date '+%Y-%m-%d %H:%M:%S'` - No Find URL:$url"
		break 
        fi
  fi
done

转载于:https://www.cnblogs.com/wanglijun/p/10283592.html