
爬虫
文章平均质量分 62
蘑菇猎手
这个作者很懒,什么都没留下…
展开
-
使用scrapy+mongodb爬取数据示例(附下载)
环境配置Window 10专业版MongoDB 3.4Robomongo 1.0Python 3.6Scrapy 1.4.0 (pip install scrapy)pymongo 3.5.0 (pip install pymongo )先看一下待爬页面,从而抽象出数据模式(text ,author,tags)创建Scrapy示例项目scrapy startproject tutori原创 2017-09-23 23:21:37 · 1071 阅读 · 0 评论 -
使用docker部署chrome无头浏览器并解决中文乱码,为pyppeteer提供运行环境
项目$ ls -1demo.pyrequirements.txtMSYHBD.TTCDockfileDockfileFROM python:3.8-slimRUN apt-get update && apt-get -y install libnss3 xvfb gconf-service libasound2 libatk1.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgbm1原创 2021-04-27 13:30:42 · 7180 阅读 · 0 评论