- 博客(4)
- 收藏
- 关注
RSS订阅原创 微软“最强自动化工具”playwright实战项目
微软“最强自动化工具”playwright实战项目近期微软推出了一款号称“最强”的自动化测试工具，网上便出现了大批讲解文章，一看全是github上的reademe.md。估计是来赚那点文章费的。。。“只要和网络扯上关系，就能用来做爬虫。”playwright相比selenium支持异步，相比pyppeteer背后有微软在维护，并且支持录制操作。唯一一点国内好像没有详细的文档，只有官方的英文文档(这让不会英文的我苦比了T。T)。但是“我爱学习”，用一个以前的工作项目来熟悉这个工具吧 ^。*
2020-12-19 18:41:28
6423
6
原创 scrapy分布式初试，在有缘网你找到真爱了吗
scrapy分布式初试，在有缘网你找到真爱了吗这次使用scrapy_redis+scrapy分布式爬取有缘网。需要安装scrapy，scrapy_redis，redis，安装详情可以自行参考网上其他博文。本文的爬虫项目已经写好，如果是小白可以去看其他到大佬的scrapy博文。代码我放在github上，自行拿取话不多说，上代码1. 在settings.py修改ITEM_PIPELINES = { # Store scraped item in redis for post-process
2020-05-10 17:39:01
236
原创 scrapy+pymongo爬取符号库所有拼音开头文字
scrapy+pymongo爬取符号库所有拼音开头文字今天又看了一下mongo数据库的基本使用，虽然还不明白分布式爬虫这种高级概念，但是简单使用一下还是可以的，全当拿来练手。mongodb的安装以及使用可以查看MongoDB中文网pymongo的安装 pip install pymongo 即可，使用的话可以查看这篇文章scrapy的基础概念我上篇都有讲,并且这些基础概念都是可以搜索到...
2020-03-21 20:53:26
306
原创 scrapy框架爬取网站图片
使用scrapy 框架爬取彼岸图库前言：这两天在网上学习了一下scrapy框架，发现及其好用，把爬虫步骤分的细细的。所以写了一个简单项目回顾一下并分享给大家^ . ^源码我已经放到Github了scrapy框架运行结构爬虫把要提交的 url 传给引擎经过引擎后，url 传给调度器，调度器把 url 排队处理，后把排好的 url 传给引擎引擎接到 url 后传给下载器对浏览器进...
2020-03-20 17:27:09
3041
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人