- 博客(4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 某房产网信息爬取
有反爬，出现访问验证！穷人，手里没啥代理????！因为是著名大站，所以只贴出部分，防止侵权或者非法用途等等，仅供学习交流，我也是个菜！愁人！class FtxSpider(scrapy.Spider): name = 'ftx' allowed_domains = ['fang.com'] start_urls = ['https://www.fang.com/SoufunFamily.htm'] def parse(self, response):
2020-05-09 14:03:18
280
1
原创 爬取图片网站
scrapy爬取，翻页是js加载的，所以采用scrapy-splash发送请求！准备存储图片到本地，但是发现存储以后图片打不开，损坏了，然后复制图片地址在浏览器打开试一试，结果发现403禁止访问，应该是反爬，时而可以，时而不行，切换ip以后，依旧如此！算了，还是把图片地址保存下来吧！mainclass MtSpider(scrapy.Spider): name = 'mt' ...
2020-05-03 21:39:41
1061
1
原创 和xun基金排名爬取
from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom seleniu...
2020-04-26 11:50:01
260
原创 青春娱乐八卦板块爬取-交流学习，跪求大神指正
mian# -*- coding: utf-8 -*-import scrapyfrom qingchun_p.items import QingchunPItemfrom urllib.parse import urljoinfrom copy import deepcopyclass QcSpider(scrapy.Spider): name = 'qc' a...
2020-03-30 09:14:36
197
空空如也
robotframework-ride关键词如何提示
2020-10-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人