
scrapy
liulanba
这个作者很懒,什么都没留下…
展开
-
Superuser creation skipped due to not running in a TTY. You can run `manage.py createsuperuser` in y
django创建用户报错(window上git bash)$ python manage.py createsuperuserSuperuser creation skipped due to not running in a TTY. You can run manage.py createsuperuser in your project to create one manually.Django 期望从 TTY 兼容的 shell 运行命令关于tty更多内容请参考:tty解决方法:使用c原创 2022-01-11 00:47:56 · 3157 阅读 · 0 评论 -
[scrapy.core.scraper] ERROR: Error processing {‘image_urls‘
需要用到Linux脚本,参考了一些博客和电子书,整理了一些命令,仅供参考!yum: Fedora/RedHat/SUSE基于PRM包管理,能够从指定的服务器自动下载PRM包并安装,可以自动处理依赖关系,并且一次安装所有依赖的软件包,无须繁琐的一次次下载,安装。提供了查找,安装,删除某一个,一组,甚至全部软件包的命令。yum[options][command][package…]options:可选,选项包括-h(帮助),-y(当安装过程提示选择全部为 “yes”),-q(不显示安装的过程)等等。c原创 2021-01-04 19:10:20 · 4435 阅读 · 0 评论 -
[scrapy.pipelines.files] WARNING: File (code: 302)
scrapy爬取图片报错:[scrapy.pipelines.files] WARNING: File (code: 302): Error downloading file from <GET https://profile.csdnimg.cn/2/4/1/3_liulanba> referred in 先看一下http状态码:状态码描述301永久移动。请求的资源已被永久的移动到新URI,返回信息会包括新的URI,浏览器会自动定向到新URI。今后任何新的请求都应使原创 2021-11-13 18:41:53 · 3280 阅读 · 0 评论 -
Failure while parsing robots.txt. File either contains garbage or is in an encoding other than UTF-8
在使用scrapy爬取图片的时候返回了一个这样的错误Failure while parsing robots.txt. File either contains garbage or isin an encoding other than UTF-8, treating it as an empty file这里先看一下robot.txt是什么?settings.py里面有一条:ROBOTSTXT_OBEY = True就是表示要遵守robots.txt 的规则1)robots.txt原创 2021-11-13 18:28:46 · 3109 阅读 · 0 评论