zx的博客

自己写的一个比较好用的线程等待代码模板,python3环境下我的应用场景：在拨号爬虫的时候，重新拨号之后数据库的连接会出现异常，所以需要用到简介:A是爬虫线程，B是写控制爬虫线程什么时候停止，然后运行一些其他脚本的线程代码中主要运行逻辑我用的sleep代替import randomimport timeimport threadingclass A(threading.Thread): def __init__(self,thread_id,event): super(

一、 导入模块import timefrom selenium import webdriverfrom lxml import etree本文章纯粹用来练手，于是我使用了etree,其实光使用find_elements…的方法也可以二、开始干活1.首先创建driver对象driver=webdriver.Chrome()2.打开网站driver.get("https://ww...

使用selenium抓取小说内容创建一个browser对象，用chrome启动from selenium import webdriver直接启动会报错“ Message: ‘chromedriver’ executable needs to be in PATH”使用这个的前提要安装一个chromedriver.exe放在项目下，去网上找与你的chrome对应的版本browser=...

首先创建普通py文件内容如下: import scrapy class Demo(scrapy.Spider): name="demo" def start_requests(self): urls = ['https://www.qidian.com', "https://www.baidu....

一、分析淘宝页面中的商品都是用js动态加载的，所以使用selenium模块抓取内容1.首先分析如何用关键字搜索内容2.打开浏览器3.然后分析页面结构，抓取信息4.其次获取商品具体信息的话需要打开二级页面5.需要找到下一页的按钮用于模拟点击下一页，从而获取所有页面的相关信息二、开始操作1.首先分析如何用关键字搜索内容注意到页面的规律为https://s.taobao.com/sea...

一. 准备工作：创建一个模块master包含spider文件，再创建一个模块slaver包含spider.py文件和models.py文件master下的spider.py文件用于发布任务，即将需要爬取的url地址存放在redis中，slaver中的spider文件用于分布式提取redis中的url并且解析内容存放在mysql数据库中master\spider.pyslaver\spid...

一、爬小说scrapy startproject democd demoscrapy genspider novel设计mysql表结构如下：1.存放书的表create table novels_item(novel_id int auto_increment primary key,novel_name varchar(20));2.存放章节和章节内容的表create t...