在 Pycharm 中 debug Scrapy 项目

缘起

为什么写这篇文章呢？因为自己想在 Scrapy 项目里 debug, 看看 Response 有哪些属性。但是 Scrapy 的官方文档的 debug 说明只有 VSCode 的，没有 Pycharm 的(详见：https://docs.scrapy.org/en/latest/topics/debug.html)：

{
    "version": "0.1.0",
    "configurations": [
        {
            "name": "Python: Launch Scrapy Spider",
            "type": "python",
            "request": "launch",
            "module": "scrapy",
            "args": [
                "runspider",
                "${file}"
            ],
            "console": "integratedTerminal"
        }
    ]
}

当然，如果熟悉 VSCode 的人看到这个配置就明白其实执行方式是：python -m scrapy runspider xxx_spider.py (注：这里的 xxx_spider.py 指 spider 文件，如官方文档里面的 quotes_spider.py)。如果这个人同时还熟悉 Pycharm, 那么他就知道在 Pycharm 里面配置进行 debug：

很遗憾，我不是这样的人，所以就有了这篇文章。

说明

时间：2025/12/06

Pycharm 版本：2025.2.4

Python 版本：3.12.0

Scrapy 版本：2.13.4

Windows 版本：Win 11

main.py

在与 scrapy.cfg 文件同层级的目录中新建一个名为 main.py 的文件，用于 debug。示例：

# main.py
from scrapy.cmdline import execute


if __name__ == '__main__':
    print(1)
    print(2)
    execute(['scrapy', 'crawl', 'manning'])

项目结构：

TypeError: ‘Task’ object is not callable

当 Debug’main’时， 出现错误：

2025-12-06 10:51:15 [asyncio] ERROR: Exception in callback <Task pending name='Task-1' coro=<ExecutionEngine.open_spider() running at D:\Projects\PythonProjects\python-talk\backend\venv\Lib\site-packages\scrapy\core\engine.py:430> cb=[Deferred.fromFuture.<locals>.adapt() at D:\Projects\PythonProjects\python-talk\backend\venv\Lib\site-packages\twisted\internet\defer.py:1255]>()
handle: <Handle <Task pending name='Task-1' coro=<ExecutionEngine.open_spider() running at D:\Projects\PythonProjects\python-talk\backend\venv\Lib\site-packages\scrapy\core\engine.py:430> cb=[Deferred.fromFuture.<locals>.adapt() at D:\Projects\PythonProjects\python-talk\backend\venv\Lib\site-packages\twisted\internet\defer.py:1255]>()>
Traceback (most recent call last):
  File "D:\Apps\Python3.12\Lib\asyncio\events.py", line 84, in _run
    self._context.run(self._callback, *self._args)
TypeError: 'Task' object is not callable

之所以产生这个问题，不是代码的问题，是 Pycharm debuger 的问题，我还没梳理完，故暂不展开，只讲怎么解决。

Debug 方式

方法 1：TWISTED_REACTOR

1. Settings > Python > Debugger，取消 Gevent compitable 的勾选。

2.在项目的 settings.py 文件里设置 TWISTED_REACTOR = ‘twisted.internet.selectreactor.SelectReactor’

方法 2：python.debug.asyncio.repl

1.Settings > Python > Debugger，取消 Gevent compitable 的勾选(这步和方法 1 是一样的)。

2.双击 Shift 键打开搜索窗口。

双击 Shift 的意思是“search everywhere，详见 https://www.jetbrains.com/help/pycharm/searching-everywhere.html”。

3.点击 ALL 选项，输入 registry，最后点击 Regisry 选项。

4.找到 python.debug.asyncio.repl，取消勾选 Value 列的方框。

验证

如上图所示，设置后可以 debug。

参考资料

1.Scrapy 文档, Debugging Spiders: https://docs.scrapy.org/en/latest/topics/debug.html

2.Pycharm 文档，Search for a target by name：https://www.jetbrains.com/help/pycharm/searching-everywhere.html

欢迎搜索及关注：编程人(a_codists)，如有问题请留言。