【爬虫】01-爬斗鱼妹子图

最新推荐文章于 2020-12-10 14:43:28 发布

原创最新推荐文章于 2020-12-10 14:43:28 发布 · 2.4k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #爬斗鱼妹子图

爬虫专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种从斗鱼网站爬取图片的方法，通过使用Python的requests和re模块，详细展示了如何抓取网页源代码并解析出图片链接，最后保存图片到本地的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.准备工作

url：“https://www.douyu.com/g_yz”
爬取目标：

2.开始爬取

目录结构
代码

import requests, re


def get_stable_image(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36"
    }
    # url
    req = requests.get(url=url, headers=headers)
    # print(req.request.headers)  # 测试请求头
    # 响应内容
    html = req.content.decode()
    # print(html)  # 测试网页内容
    # 获取image_url
    # 使用正则匹配目标内容
    reg = r'data-original="(.*?)" src='
    img_url_list = re.findall(reg, html)
    # print(img_url_list)  # 测试img_url

    # 提取数据
    count = 0
    for img_url in img_url_list:
        try:
            # 图片名称
            img_name = img_url.split('/')[-1] + ".jpg"
        except Exception as e:
            print(e)
            continue
        img = requests.get(url=img_url)

        # 存储数据
        with open('images/01.爬取斗鱼图片/'+img_name, 'wb') as f:
            f.write(img.content)
        count += 1
        print("已爬取成功%d张图片" % count)

if __name__ == '__main__':
    ret = get_stable_image("https://www.douyu.com/g_yz")