简单的爬虫停止代码

关注

原创最新推荐文章于 2026-03-01 16:41:48 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

WebMagic爬虫的配置、启动和终止爬虫的配置、启动和终止Spider创建Spider对象添加请求URL设置线程数及启动总结 Spider Spider是爬虫启动的入口。在启动爬虫之前，我们需要使用一个PageProcessor创建一个Spider对象，然后使用run()进行启动。同时Spider的其他组件（Downloader、Scheduler、Pipeline）都可以通过set方法来进行设置。下面我们通过源码来进行讲解下：创建Spider对象 /** * create a spider with pageProce 阅读详情

今天第二段shell脚本
停止运行的Java爬虫

spiderPID=0
for spider in  spider141212Run spider141205Run spider141213Run spider141204Run
do  echo 'stop crawler' $spider $te;
    ps=`ps -ef | grep $spider | grep -v grep`
   if [ -n "$ps" ]; then
       #echo  "PID" $ps
       spiderPID=`echo $ps | awk '{print $2}'` ;
        echo "spiderPID: " $spiderPID ;
        kill $spiderPID
   else
       echo  $spider' stoped' 
   fi
done

一开始报错：
./stopSpider.sh: line 9: ps -ef | grep bucket141213Run | grep -v grep: command not found

后来发现是
ps=ps -ef | grep $spider | grep -v grep
ps=ps -ef | grep $spider | grep -v grep
注意命令不是单引号，而是esc 键附近的波折号。
有问题，注意输入法，报错的话重新写一遍此命令。