Hubz131的博客

一、log信息设置LOG_ENABLED 是否开启log LOG_ENCODING 编码格式二、log配置LOG_FILE log文件路径LOG_LEVEL CRITICAL - 严重错误(critical) ERROR - 一般错误(regular e...

https://proxy.mimvp.com/demo.php#demo-item-website

Scrapy效率提升篇scrapy基于twisted异步IO框架，downloader是多线程的。但是，由于python使用GIL（全局解释器锁，保证同时只有一个线程在使用解释器），这极大限制了并行性，在处理运算密集型程序的时候，Python的多线程效果很差，而如果开多个线程进行耗时的IO操作时，Python的多线程才能发挥出更大的作用。（因为Python在进行长时IO操作时会释放GIL）所以...

转自：https://blog.youkuaiyun.com/sc_lilei/article/details/80702449使用IDE，现在scrapy项目中任意一个文件敲上以下代码：from scrapy.downloadermiddlewares.retry import RetryMiddleware按住ctrl键，鼠标左键点击RetryMiddleware进入该中间件所在的项目文件的...

一、https://httpbin.org/headers返回headers信息二、https://httpbin.org/ip返回你使用的访问此链接的IP地址三、https://httpbin.org/user-agent返回USER-AGENT信息四、http://httpbin.org/get?show_env=1返回更为详细的信息（被图掉部分为IP）小知识：...

1.安装并将Redis注册为服务https://blog.youkuaiyun.com/u012489412/article/details/812189832.在此期间可能遇到的问题：Redis安装系统服务1073错误Invalid argument during startup: unknown conf file parameter...

CSS – Python爬虫常用CSS选择器（Selectors）selector example description .class .your_class 选择所有class="your_class"的元素 #id #name 选择所有id="name"的元素 * * 选...

AJAXCRAWL_ENABLED = False# 自动限速设置AUTOTHROTTLE_ENABLED = FalseAUTOTHROTTLE_DEBUG = FalseAUTOTHROTTLE_MAX_DELAY = 60.0AUTOTHROTTLE_START_DELAY = 5.0AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0# 此Scra...

错误类型 错误名称 defer.TimeoutError 当延迟超时时，默认情况下会引发此错误（链接） TimeoutError 用户超时导致连接失败 DNSLookupError DNS查找失败 ConnectionRefusedError 连接被另一方拒绝 ConnectionDone 连接干净整洁的关闭了 ConnectError...

SSL (Secure Socket Layer) 为Netscape所研发，用以保障在Internet上数据传输之安全，利用数据加密(Encryption)技术，可确保数据在网络上之传输过程中不会被截取及窃听。目前一般通用之规格为40 bit之安全标准，美国则已推出128 bit之更高安全标准，但限制出境。只要3.0版本以上之I.E.或Netscape浏览器即可支持SSL。...