网络爬虫学习：借助DeepSeek完善爬虫软件，增加停止任务功能

最新推荐文章于 2025-09-05 13:31:02 发布

原创

最新推荐文章于 2025-09-05 13:31:02 发布 · 3k 阅读

33 ·

CC 4.0 BY-SA版权

文章标签：

#python #网络爬虫 #DeepSeek #concurrent #futures #pycharm

一、引言

我从24年11月份开始学习网络爬虫应用开发，经过2个来月的努力，终于完成了开发一款网络爬虫软件的学习目标。这几天对本次学习及应用开发进行一下回顾总结。前面已经发布了两篇日志：

网络爬虫学习：应用selenium从搜*狐搜索爬取新闻结果的数据

网络爬虫学习：应用selenium获取Edge浏览器版本号，自动下载对应版本msedgedriver，确保Edge浏览器顺利打开

这是第三篇日志，记录如何为软件增加停止任务功能。

二、问题描述

软件初步开发完成后，我打包成exe文件提供给小伙伴试用，有小伙伴问我，软件怎么没有停止任务的功能？如果点击开始按钮后，又不想爬取了，想换个关键字再爬，但没有停止功能，就只能等着软件完成当前的所有任务或者关闭软件，这样不合理，建议我增加一个停止功能。

这个需求是合情合理的，但奈何我的能力有限，对爬虫知识学得不够深入，关于怎么停止当前正在执行的任务还真不会。但小伙伴提出的改进意见，那么我就要努力去完善，这样也是对自己能力的提升。

三、借助DeepSeek完善软件

在前一篇日志里，我记录了通过向DeepSeek提问，获得了自动下载对应版本msedgedriver的方法，让我的爬虫软件可以在小伙伴的电脑上正常运行。这次我决定继续向DeepSeek提问，获得实现停止爬虫任务的方法。

我一共向DeepSeek提了3个问题，最终获得了我想要的答案。

第1问：“我使用python语言开发爬虫软件，用到了threading.Thread和concurrent.futures，使爬虫在多线程下运行。我现在遇到了一个问题，当开始执行爬虫任务后，我该如何终止爬虫任务？”

DeepSeek思考了22秒给了我答案，答案里有两个方法。这两个方法都是通过捕获 KeyboardInterrupt（Ctrl+C）或注册信号处理器，来停止所有线程。我在pycharm上尝试运行了这两个方法中的代码，发现都需要通过按下Ctrl+F2来停止爬虫任务，而我是希望在GUI上添加一个停止按钮，点击按钮后，停止爬虫任务，显然DeepSeek提供的答案并没有达到我的目的。