Wfarmer的博客

微软“最强自动化工具”playwright实战项目 近期微软推出了一款号称“最强”的自动化测试工具，网上便出现了大批讲解文章，一看全是github上的reademe.md。估计是来赚那点文章费的。。。 “只要和网络扯上关系，就能用来做爬虫。” playwright相比selenium支持异步，相比pyppeteer背后有微软在维护，并且支持录制操作。唯一一点国内好像没有详细的文档，只有官方的英文文档(这让不会英文的我苦比了T。T)。但是“我爱学习”，用一个以前的工作项目来熟悉这个工具吧 ^。*

scrapy分布式初试，在有缘网你找到真爱了吗 这次使用scrapy_redis+scrapy分布式爬取有缘网。 需要安装scrapy，scrapy_redis，redis，安装详情可以自行参考网上其他博文。 本文的爬虫项目已经写好，如果是小白可以去看其他到大佬的scrapy博文。 代码我放在github上，自行拿取 话不多说，上代码 1. 在settings.py修改 ITEM_PIPELINES = { # Store scraped item in redis for post-process

scrapy+pymongo爬取符号库所有拼音开头文字 今天又看了一下mongo数据库的基本使用，虽然还不明白分布式爬虫这种高级概念，但是简单使用一下还是可以的，全当拿来练手。 mongodb的安装以及使用可以查看MongoDB中文网 pymongo的安装 pip install pymongo 即可，使用的话可以查看这篇文章 scrapy的基础概念我上篇都有讲,并且这些基础概念都是可以搜索到...