python爬虫scrapy的使用
关注
分享
扫一扫
文章平均质量分 82
学无止境-程序猿
We are in the development stage of the technology age. You don't need to care about who you work and work for anyone. As long as I have a network that can be connected, I can write a code in any corner of the world.
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapy 爬取链家网信息，可改进全站进阶分布式
start_urls = ['https://bj.lianjia.com/ershoufang/pg{}/'.format(i) for i in range(1, 3)]，这个网站url可以放置列表，所以这里面可以放循环遍历的url，range(1,3),例子上只找2页数据，多个数据也行，看你们的情况，还有就是爬取的过多可能封ip，所以代理ip是不可避免的。代码链接：https://...原创 2018-12-06 00:02:35 · 1052 阅读 · 0 评论 -
爬虫框架scrapy的使用，模拟浏览器无界面形式selenium，获取随时更新的数据，保存数据库，爬取随时变化的网页，爬取金十网数据，MongoDB实现增量更新，简单的网络监控
获取金十数据网页，更新数据，增量获取其内容。环境：pycharm,mongoab,win7,python3.7链接：https://pan.baidu.com/s/1MpZM8XJoCxBlmsSzg2WY3w提取码：muqe增量获取，更新数据，有和数据中不一样的保存，一样的直接返回None,不使用数据库。import pymongofrom pymysql i...原创 2018-12-10 23:19:30 · 1686 阅读 · 4 评论 -
scrapy爬取某京的简单爬虫，无仿封操作，只是简单爬取信息
import scrapyimport refrom JingDong.items import JingDongItemfrom scrapy import Request#---------------------------------------------------------------------------class JdSpider(scrapy.Spider):...原创 2019-03-15 15:50:30 · 327 阅读 · 0 评论 -
22.python-爬虫的基础认知，Lock锁机制
lock锁，但是有个问题是，每个线程运行时，每次都得重新上锁和解锁，会比较耗费cpu资源。import threadingimport timeimport randomgMoney = 1000gTimesT = 10gTimes = 0gLock = threading.Lock()class Producer(threading.Thread): def run...原创 2019-03-13 18:36:44 · 573 阅读 · 0 评论 -
webspider,网页爬虫程序全程一体化操作，自动写爬虫代码，自动部署分布式，不经历代码过程,让每个人都能玩爬虫
Web爬虫，也叫Webspiders-online 全程web界面操作的爬虫系统，预设定全程一体化操作，使简单的爬虫直接放置链接自动提取，然后复杂度评级高的，要用到专业知识，后期想做到全程web端创建爬虫，自动写入爬虫规则代码，然后界面点击直接部署分布式到服务器上，不经历代码过程，目前在写入规则！遇到问题各种验证码不同，目前的想法是直接跳过使用代理ip，后期看看能不能加个验...原创 2019-04-06 19:44:44 · 3222 阅读 · 5 评论