Shell脚本自动抓取蜘蛛404死链并提交到搜索引擎
脚本主要功能:每天定时分析网站前一天的 nginx 日志, 然后提取状态码为 404 并且 UA 为百度蜘蛛的抓取路径,并写入到网站根目录下的 death.txt 文件,用于提交百度死链。#!/bin/bash#Desc: Death Chain File Script#Author: ZhangGe#Blog: http://zhangge.net/5038.html#Dat...
原创
2018-03-29 10:43:55 ·
1035 阅读 ·
0 评论