20行爬虫代码获取搜狗美女图片

最新推荐文章于 2024-04-28 17:07:53 发布

原创最新推荐文章于 2024-04-28 17:07:53 发布 · 2.7k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文分享了初学者使用Python进行网页爬取的经验，通过解析HTML并下载图片，介绍了BeautifulSoup和urllib库的基本用法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

刚开始学习python爬虫，参考视频https://www.bilibili.com/video/av19310582写了个简单的爬虫

目标网址为http://www.dbmeinv.com/?page=offset=1

以下是代码，思路比较简单易懂

from bs4 import BeautifulSoup
import requests
import urllib

url = 'http://www.dbmeinv.com/?page=offset=1'#获取网址
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2864.400'}#定制请求头
page = urllib.request.Request(url,headers=headers)#模拟浏览器对服务器发送请求
html = urllib.request.urlopen(page).read()#获取页面信息
print(html)#打印html内容

soup = BeautifulSoup(html,'html.parser')#使用BeautifulSoup库提取html中的数据
my_img = soup.find_all('img')#提取html中所有img标签
path = 'D:/壁纸/python/'#设置图片的存储路径
for img in my_img:#使用for循环提取图片链接并下载
    link = img.get('src')#提取img标签中的src内容（图片链接）
    name = img.get('alt')#提取img标签中的alt内容(图片标题)
    print(name,link)#打印图片标题和链接
    urllib.request.urlretrieve(link, path + str(name) + '.jpg')#下载图片到本地并定义图片名
    print('图片"%s"下载成功' %(name))

运行效果