- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy将爬取到的数据存储到mysql中，使用pymysql
在 pipelines.py中添加如下代码import pymysqlclass JianshuPipeline(object): def __init__(self): dbparams = { 'host':'127.0.0.1', 'port':3306, 'user':'root', ...
2019-09-09 18:12:55
517
原创 scrapy设置user_agent及代理ip
在 middlewares.py 中添加如下代码，即可添加user_agent及代理ip// middlewares.pyclass UserAgentMiddleware(object): USER_AGENTS = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko...
2019-09-09 17:56:59
245
转载 python学习目录
https://blog.youkuaiyun.com/Scrat_Kong/article/details/90257118
2019-09-07 17:55:53
246
原创 将scrapy爬虫改写为分布式爬虫redis-scrapy
1，进入settings.py# 以下是加入的内容# 1.(必须加)。使用scrapy_redis.duperfilter.REPDupeFilter的去重组件，在redis数据库里做去重。DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"# 2.（必须加）。使用了scrapy_redis的调度器，在redis里面分配请求。...
2019-09-07 17:48:10
224
原创 python
以下的都是在Python3.X环境下的使用 input 函数接收用户的输入，返回的是 str 字符串最简单的打印print(“hello,word!”)hello,word!打印数字a=5b=6print(a)print(a,b)print(a+b)55 611打印字符使用逗号连接会有空格，使用+号连接没有空格a=“hello,”b=“world!...
2019-04-18 17:36:26
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人