Python-Scrapy框架Debug模式错误记录

最新推荐文章于 2025-06-26 22:43:56 发布

原创最新推荐文章于 2025-06-26 22:43:56 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #scrapy #开发语言

文章讲述了在Scrapy爬虫项目中遇到的断点调试问题，尽管无法在Python3.8.19的环境中正常debug，但可以运行。解决方法包括在调度器接收yieldRequest前添加断点并手动注入案例，以及考虑升级到支持的PyCharm版本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scrapy 框架里断点无法使用 debug 但是可以 run 的情况;

情景条件

- 爬虫 scrapy 项目代码无法正常 debug 调试, 但是可以正常运行
- Python 3.8.19 \ scrapy 2.11.1 \ twisted 23.04.0

问题点

[asyncio] ERROR: Exception in callback <Task pending name='Task-1' coro=<SpiderMiddlewareManager.scrape_response.<locals>.process_callback_output() running at C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\site-packages\scrapy\core\spidermw.py:295> cb=[Deferred.fromFuture.<locals>.adapt() at C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\site-packages\twisted\internet\defer.py:1063]>()
handle: <Handle <Task pending name='Task-1' coro=<SpiderMiddlewareManager.scrape_response.<locals>.process_callback_output() running at C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\site-packages\scrapy\core\spidermw.py:295> cb=[Deferred.fromFuture.<locals>.adapt() at C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\site-packages\twisted\internet\defer.py:1063]>()>
Traceback (most recent call last):
  File "C:\Users\<MyComputerName>\.conda\envs\dcg-spider-data\lib\asyncio\events.py", line 81, in _run
    self._context.run(self._callback, *self._args)
TypeError: 'Task' object is not callable

解决方案

1. 在 scrapy 调度器接收 yield Request 请求前进行断点, 并在 console 控制台手动注入任意案件获取当前的异步事件
2. 更换 idea 执行器 Pycharm 版本