简单的爬虫，爬取火狐主页的图片并保存到本地

最新推荐文章于 2024-03-13 14:28:07 发布

衬衫的价格是

最新推荐文章于 2024-03-13 14:28:07 发布

阅读量663

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签：爬虫

本文链接：https://blog.youkuaiyun.com/gxm13835177730/article/details/79750643

python 专栏收录该内容

13 篇文章

订阅专栏

使用Python的urllib.request模块和正则表达式，爬取火狐主页的图片URL，然后将其下载并保存为.jpg文件。设置User-Agent以模拟浏览器请求，避免被网站屏蔽。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#-*-  coding:utf-8 -*-
#encoding:utf8
import urllib.request
import re

import chardet
def getHtml(url):
    #html=urllib.request.urlopen(url).read()
    #charset=chardet.detect(html)
    #html=html.decode("utf-8")
    #print(charset)
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (iPod; U; CPU like Mac OS X; en) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/3A101a Safari/419.3')
    response = urllib.request.urlopen(req)
    html= response.read().decode("utf-8")
    return html

def getImage(htmls):
    regx= r'https://[\S]*\.jpg'
    pattern=re.compile(regx)
    get_img=re.findall(pattern,repr(htmls))
    num=1
    for img in get_img:

        image=getHtml(img)
        print(image)
        with open(str(num)+'.jpg','w') as fp:
            fp.write(image)
            num +=1
            print("正在下载第%s张图片"%num)
    return
url="http://home.firefoxchina.cn/"
html=getHtml(url)
#print(html)
getImage(html)