python爬虫项目-优美图库

python爬虫项目-优美图库

如果你是python爬虫新手，想要了解、熟悉爬虫的原理。那么这个优美图库爬取图片将会是和不错的入门项目选择。 

 用到技术点：
 1.requests发送请求，从服务器获取数据
 2.BeabtifulSoup 来解析整个页面的源代码--> 特简单

首先我们来看一下效果图

下面附上代码 

# 爬取网站第一件事：发送请求到服务器
resp = requests.get("https://www.youmeitu.com/meinv/")
resp.encoding = 'utf-8'
# 解析html
main_page = BeautifulSoup(resp.text, "html.parser")
# 从页面中找到某些东西
# find()  找一个
# find_all()   找全部

aList = main_page.find("div", attrs={"class": "TypeList"}).find_all("a", attrs={"class": "TypeBigPics"})

n = 1
for a in aList:
    # 发送请求到子页面，进入到有小姐姐的页面中
    href = a.get("href")  # /meinv/139741.html
    resp1 = requests.ge