刚开始学习python爬虫,参考视频https://www.bilibili.com/video/av19310582写了个简单的爬虫
目标网址为http://www.dbmeinv.com/?page=offset=1
以下是代码,思路比较简单易懂
from bs4 import BeautifulSoup
import requests
import urllib
url = 'http://www.dbmeinv.com/?page=offset=1'#获取网址
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2864.400'}#定制请求头
page = urllib.request.Request(url,headers=headers)#模拟浏览器对服务器发送请求
html = urllib.request.urlopen(page).read()#获取页面信息
print(html)#打印html内容
soup = BeautifulSoup(html,'html.parser')#使用BeautifulSoup库提取html中的数据
my_img = soup.find_all('img')#提取html中所有img标签
path = 'D:/壁纸/python/'#设置图片的存储路径
for img in my_img:#使用for循环提取图片链接并下载
link = img.get('src')#提取img标签中的src内容(图片链接)
name = img.get('alt')#提取img标签中的alt内容(图片标题)
print(name,link)#打印图片标题和链接
urllib.request.urlretrieve(link, path + str(name) + '.jpg')#下载图片到本地并定义图片名
print('图片"%s"下载成功' %(name))
运行效果