weixin_42024812的博客

爬取链接：http://www.doutula.com/photo/list/?page=1 首先F12查看该链接，对比可以看到，没有任何加密，可以解析图片链接，然后下载； 不过要仔细看，有个小坑:图片有两张，未加载成功显示是白色的图片，加载成功后显示才是正确的； 未加载成功前的网页： 加载成功后： 查看标签页：每个a标签对应一张图片 右键查看源代...

import requests from bs4 import BeautifulSoup import json import time """需求：爬取巴比特论坛的前5页title和内容""" class BtcSpider(object): def __init__(self): self.url = "https://bbs.8btc.com/forum-61...

import requests from lxml import etree from bs4 import BeautifulSoup import json """ 爬取需求：爬取编程电子书http://www.allitebooks.com/的书信息，包括书名、书的作者、书的简介、书的图片四个; 解析数据使用bs4和xpath两种方式解析;""" class BookSpider(o...

import requests from lxml import etree import pymongo import time ''' 将爬取到的书保存到mongodb中，并导出文件(只爬取前9行，即90本书的信息)''' class BookSpider(object): def __init__(self): self.base_url = 'http:/...

import requests from lxml import etree import json import pprint import time class DoubanBook(object): def __init__(self): self.url = 'https://book.douban.com/top250?start={}' se...

import requests from lxml import etree import pymysql ''' 爬取西刺代理ip和port，然后验证该ip是否可用 ''' header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chr...

"' 需求：爬取必应的图片，并下载，以老师为例； '" 1.首先通过XHR找到图片的url地址，打开该地址可看到 确认链接找到正确，然后多找几个来分析，可以得到通用的url： url = 'https://cn.bing.com/images/async?q='+ '必应输入框内需要搜索的名字'+'&first='+'页数'+'&count=35&rel...