使用Python编写简单网络爬虫实例：爬取图片

薅你两根毛

已于 2023-12-19 18:40:52 修改

阅读量7.3w

点赞数 20

分类专栏：日常聊聊文章标签： python 爬虫开发语言

于 2023-12-19 10:51:54 首次发布

本文链接：https://blog.youkuaiyun.com/AliceNo/article/details/135079478

版权

日常聊聊专栏收录该内容

68 篇文章

订阅专栏

🍎个人主页

🏆个人专栏：日常聊聊

⛳️ 功不唐捐，玉汝于成

简介

网络爬虫是一种自动获取网页信息的程序，而Python由于其简洁而强大的语法，常被用于编写网络爬虫。在本博客中，我们将介绍一个简单的Python网络爬虫示例，用于爬取图片。该示例使用了第三方库requests来发送HTTP请求，以及BeautifulSoup来解析HTML页面。

步骤

1. 安装依赖库

确保你已经安装了以下依赖库：

pip install requests beautifulsoup4

2. 创建目录

创建一个目录用于保存下载的图片，我们在示例中将其命名为downloaded_images。

import os

if not os.path.exists('downloaded_images'):
    os.makedirs('downloaded_images')

3. 发送HTTP请求并解析页面

使用requests库发送HTTP请求获取页面内容，然后使用BeautifulSoup解析HTML页面。

import requests
from bs4 import BeautifulSoup

url = 'https://example.com'  # 替换为实际的目标网站URL
response = requests.get(url)
html_content = response.text
soup = BeautifulSoup(html_content, 'html.parser')

4. 查找图片标签并下载图片

找到页面中的所有图片标签，遍历这些标签并下载图片。

from urllib.parse import urljoin

img_tags = soup.find_all('img')

for img_tag in img_tags:
    img_url = img_tag.get('src')
    img_url = urljoin(url, img_url)
    
    img_data = requests.get(img_url).content
    img_name = os.path.join('downloaded_images', os.path.basename(img_url))

    with open(img_name, 'wb') as img_file:
        img_file.write(img_data)
        print(f'图片保存成功：{img_name}')