蜂鸟网图片爬取之一

最新推荐文章于 2024-12-09 14:54:06 发布

原创

最新推荐文章于 2024-12-09 14:54:06 发布 · 352 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Python #爬虫 #数据挖掘 #Python基础

本文介绍了如何使用Python爬虫抓取蜂鸟网的摄影图片。首先分析了网站结构，发现可以通过页码参数获取JSON数据，然后在图片详情页的源码中找到图片JSON数据，通过正则表达式匹配并下载图片。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 蜂鸟网图片–简介

国庆假日结束了，新的工作又开始了，今天我们继续爬取一个网站，这个网站为 http://image.fengniao.com/ ，蜂鸟一个摄影大牛聚集的地方，本教程请用来学习，不要用于商业目的，不出意外，蜂鸟是有版权保护的网站。

2. 蜂鸟网图片–网站分析

第一步，分析要爬取的网站有没有方法爬取，打开页面，找分页

http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=1&not_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=2&not_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=3&not_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=4&not_in_id=5352384,5352410

上面的页面发现一个关键的参数page=1这个就是页码了，但是另一个比较头疼的问题是，他没有最后的页码，这样我们没有办法确