weixin_42024812的博客

爬取链接：http://www.doutula.com/photo/list/?page=1首先F12查看该链接，对比可以看到，没有任何加密，可以解析图片链接，然后下载；不过要仔细看，有个小坑:图片有两张，未加载成功显示是白色的图片，加载成功后显示才是正确的；未加载成功前的网页：加载成功后：查看标签页：每个a标签对应一张图片右键查看源代...

import requestsfrom bs4 import BeautifulSoupimport jsonimport time"""需求：爬取巴比特论坛的前5页title和内容"""class BtcSpider(object): def __init__(self): self.url = "https://bbs.8btc.com/forum-61...

import requestsfrom lxml import etreefrom bs4 import BeautifulSoupimport json"""爬取需求：爬取编程电子书http://www.allitebooks.com/的书信息，包括书名、书的作者、书的简介、书的图片四个;解析数据使用bs4和xpath两种方式解析;"""class BookSpider(o...

import requestsfrom lxml import etreeimport pymongoimport time ''' 将爬取到的书保存到mongodb中，并导出文件(只爬取前9行，即90本书的信息)'''class BookSpider(object): def __init__(self): self.base_url = 'http:/...

import requestsfrom lxml import etreeimport jsonimport pprintimport timeclass DoubanBook(object): def __init__(self): self.url = 'https://book.douban.com/top250?start={}' se...

import requestsfrom lxml import etreeimport pymysql'''爬取西刺代理ip和port，然后验证该ip是否可用'''header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chr...

"'需求：爬取必应的图片，并下载，以老师为例；'"1.首先通过XHR找到图片的url地址，打开该地址可看到确认链接找到正确，然后多找几个来分析，可以得到通用的url：url = 'https://cn.bing.com/images/async?q='+ '必应输入框内需要搜索的名字'+'&first='+'页数'+'&count=35&rel...