
Python爬虫
士心月月鸟
1+1≠2
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Scrapy连接MySQL数据库
一、Mysql安装 3.x安装命令:pip install PyMySQL 2.x安装命令:pip install MySQLdb 二、Mysql的使用 在pipelines.py文件引入MySQL,引入命令import pymysql.cursors。引入之后,就可以编写具体的类了,首先我们需要创建数据库的连接,创建数据库连接之前,需要确保你已经成功安装了MySQL并且已经在MySQL里面创建...原创 2019-08-28 18:05:12 · 1855 阅读 · 1 评论 -
Scrapy设置随机User_Agent
一、安装 执行命令:pip installscrapy-fake-useragent 二、使用 1、在middlewares.py中编写如下类: from fake_useragent import UserAgent class RandomUserAgent(object): # 随机跟换user-agent def __in...原创 2019-08-28 19:30:14 · 314 阅读 · 0 评论 -
scrapy如何在Request之间传递参数
class HelloSpider(BaseSpider): name = 'hellospider' start_urls = ( 'http://aaa.com/page1', 'http://aaa.com/page2', ) def parse(self, r...原创 2019-08-30 23:42:27 · 1528 阅读 · 0 评论