qq_42820395的博客

前段时间由于想找个图片做壁纸，在度娘上搜索一下，出来了许多的图片，打开链接看到一歌网站，突然心血来潮就想着爬下来一些图片，由于这是一个小网站，所以也没做什么防止反爬虫的措施，这次分享主要是分享图片下载和命名的方法，具体代码和注释如下： import requests from bs4 import BeautifulSoup # from requests import exceptions ...

今日头条是一个动态加载页面的网站，这一类的网站直接使用requests爬取的话得不到我们想要的内容。所以一般这类的网站都是通过分析ajax来进行抓包来获取我们想要的内容。 老规矩，首先列出需要引入的库： import json import os from urllib.parse import urlencode import pymongo import requests from bs...