数据采集（一）：requests爬取图片(3种方式)

最新推荐文章于 2025-06-08 21:56:05 发布

原创最新推荐文章于 2025-06-08 21:56:05 发布 · 2.1w 阅读

41 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫-python #图片

数据处理与机器学习专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一种从百度贴吧抓取图片的方法，通过使用Python的requests库获取网页内容，并利用BeautifulSoup、XPath及正则表达式解析HTML来提取图片链接，最后将图片保存到本地。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

举例爬取百度贴吧上一张网页上的图片，附上相关html源码，网址失效也无关系，重在分析学习。

<div id="post_content_87286618651" class="d_post_content j_d_post_content  clearfix">
            <img class="BDE_Image" src="http://imgsrc.baidu.com/forum/w%3D580/sign=b2310eb7be389b5038ffe05ab534e5f1/680c676d55fbb2fbc7f64cbb484a20a44423dc98.jpg" size="21406" changedsize="true" width="560" height="747" style="cursor: url(&quot;http://tb2.bdstatic.com/tb/static-pb/img/cur_zin.cur&quot;), pointer;">
</div>

首先…

打开网页

# -*- coding: utf-8 -*-
import requests

url = 'http://tieba.baidu.com/p/4468445702'
html = requests.get(url)
#指定编码
html.encoding='utf-8'

然后…

获取url (3种方式)

使用 BeautifulSoup 库

from bs4 import BeautifulSoup

bs = BeautifulSoup(html.content,'html.parser')
img_list = bs.find('div',{'id':'post_content_87286618651'}).findAll('img')
img_src = img_list[0].attrs['src']
print(img_src)

使用xpath

from lxml import etree

selector = etree.HTML(html.content)
images = selector.xpath('//*[@id="post_content_87286618651"]/img')
print image.attrib.get('src')

使用正则表达式

import re

text = html.content
pattern = re.compile(r'<img .*src="(.*?)" size="21406"',re.S)
match = pattern.search(text)
print match.group(1)

最后…

将图像写入文件

img = requests.get(img_src)
with open('baidu_tieba.jpg', 'ab') as f:
    f.write(img.content)
    f.close()