爬虫:爬游民星空图片被封IP了

在爬取游民星空网站图片时,由于未设置时间间隔,可能导致IP被封,表现为能够正常浏览网页,但无法打开图片。目前问题尚未解决。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

爬取下来的图片都打不开,没找到原因:

没有设置时间间隔,应该是被封ip了,网页可以看,但是点不开大图了。

 


import requests,urllib.request
from bs4 import BeautifulSoup
import os
import datetime

#获取当前年月日并创建以年月日命名的文件夹
today=datetime.date.today()
if not os.path.exists(f'{today}'):
    os.makedirs(f'{today}') #如果没有这个path则直接创建

#爬虫部分
#头文件
header={"User-Agent":"Mozila/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36"} #利用header模拟是从谷歌浏览器发出请求

name=1
for i in range(2,4):
    url='https://www.gamersky.com/ent/202009/1319344_{}.shtml'.format(i)
    r=requests.get(url,headers=header)
    r.encoding = r.apparent_encoding#解决中文乱码问题
    html=r.text
    soup=BeautifulSoup(html,'lxml')#lxm
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值