- 博客(5)
- 收藏
- 关注
RSS订阅
原创 Python scrapy自定义【传入参数】及【定时调度】~详解~附代码，纯干货++
关于如何在使用scrapy时传入自定义参数~ 启动的commands文件夹(跟spider文件夹同一级)里run.py文件： import scrapy.commands.crawl as crawl from scrapy.exceptions import UsageError from scrapy.commands import ScrapyCommand # noinspection...
2019-08-05 22:19:32
1294
原创 Python：实现Mysql性能优化分表之“水平分割”！附代码~
一：为什么要分表？ 如果一个表的每条记录的内容很大，那么就需要更多的IO操作，如果字段值比较大，而使用频率相对比较低，可以将大字段移到另一张表中，当查询不查大字段的时候，这样就减少了I/O操作 如果一个表的数据量很少，那么查询就很快；如果表的数据量非常非常大，那么查询就变的比较慢；也就是表的数据量影响这查询的性能。 表中的数据本来就有独立性，例如分别记录各个地区的数据或者不同时期的数据，特别是有...
2019-10-25 12:39:51
1430
原创 Charles 的安装（Windows，Mac，Ios，Android）~详细配置以及不能正常抓包https请求问题~
下载地址： https://www.charlesproxy.com/download/ 根据自己的电脑型号下载即可~ 下载好直接 安装即可~ Charles 是收费软件 免费适用 30天，过期之后 也能用，不过只有30min 会强制关闭客户端 稍后写破解步骤！ 证书配置 Windows： Help --> SSLproxying --> Install Charles Root...
2019-06-22 12:52:43
528
原创 【scrapy】设置【log日志文件】++程序员共成长~~
Logging Scrapy提供了log功能，可以通过 logging 模块使用 可以修改配置文件settings.py，任意位置添加下面两行 LOG_FILE = "mySpider.log" LOG_LEVEL = "INFO" Scrapy提供5层logging级别: CRITICAL - 严重错误(critical) ERROR - 一般错误(regular errors) WAR...
2019-06-10 15:21:07
502
原创 【Fidder】使用详解以及下载地址app抓包配置~~【新手必看】程序员共成长+++
哈喽，又是那个帅气的我又来啦。 今天讲讲 Fiddler的使用方法以及安装配置- download:https://www.telerik.com/download/fiddler 下载好直接安装即可 工作原理 Fiddler是以代理WEB服务器的形式工作的,浏览器与服务器之间通过建立TCP连接以HTTP协议进行通信，浏览器默认通过自己发送HTTP请求到服务器，它使用代理地址:127.0.0...
2019-06-08 18:14:35
2667
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人