Python爬虫百度照片

爬虫小测试

1 urllib、re模块的使用

urllib这是读取文本页面数据的一个使用的接口

而re是正则表达式,在我们处理字符串的时候会用到

2 获取页面的数据

定义getHtml函数,使用urlopen函数打开url地址,再使用read方法进行读取,然后就行返回

3 对返回数据的处理

将函数返回的页面的字符串进行处理,将图片的连接提取出来,类似与这样


4对图片进行下载

使用re的findall,将所有包含图片的字符串数据进行保存

5图片的保存

使用urllib.retrieve()方法,直接将远程数据下载到本地。默认保存到程序的存放目录

代码如下

#coding=utf-8
import urllib #Urllib 模块提供了读取web页面数据的接口
import re #re模块主要包含了正则表达式

def getHtml(url):
    page = urllib.urlopen(url) #urllib.urlopen()方法用于打开一个URL地址。
    html = page.read() #read()方法用于读取URL上的数据
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)" pic_ext'
    imgre = re.compile(reg)#re.compile() 可以把正则表达式编译成一个正则表达式对象.
    imglist = re.findall(imgre,html)#re.findall() 方法读取html 中包含 imgre(正则表达式)的数据。
    x = 0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' % x)#这里的核心是用到了urllib.retrieve()方法,直接将远程数据下载到本地。
        x+=1#保存的位置默认为程序的存放目录。命名规则通过x变量加1


html = getHtml("http://tieba.baidu.com/p/2460150866")#

print getImg(html)

### 编写Python爬虫抓取百度图片 为了使用 Python 抓取百度图片,可以采用 `requests` 和 `BeautifulSoup` 库来处理 HTTP 请求并解析网页内容。考虑到反爬机制的存在,在发送请求时应设置合适的 User-Agent 并控制访问频率。 #### 准备工作 首先需安装必要的库: ```bash pip install requests beautifulsoup4 lxml ``` #### 获取页面数据 构建一个函数用于发起 GET 请求获取目标 URL 的 HTML 文档: ```python import requests from bs4 import BeautifulSoup def get_page(url, params=None): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url, headers=headers, params=params) if response.status_code == 200: return response.text else: raise Exception(f"Failed to load page {url}") ``` #### 解析HTML文档提取图片链接 定义另一个函数负责分析返回的数据找到所有的 img 标签及其 src 属性值作为图片的真实地址列表: ```python def parse_images(html_content): soup = BeautifulSoup(html_content, "lxml") image_tags = soup.find_all('img', class_='main_img') # 百度图片特定的选择器可能有所不同,请自行调整 images_urls = [tag['src'] for tag in image_tags] return images_urls ``` 注意:实际操作中需要根据具体网站结构调整 CSS Selectors 或 XPath 表达式以匹配正确的 DOM 结构[^1]。 #### 下载图片到本地磁盘 最后一步就是遍历上述收集来的 URL 列表逐个下载对应的文件至指定目录内存储起来: ```python import os def download_image(image_url, save_dir='./results'): try: filename = os.path.join(save_dir, image_url.split('/')[-1]) with open(filename, mode='wb') as f: content = requests.get(image_url).content f.write(content) print(f'Successfully downloaded {filename}') except Exception as e: print(e) if __name__ == '__main__': query_word = input("请输入要搜索的关键字:") base_url = 'https://image.baidu.com/search/index' param_dict = {'tn': 'baiduimage', 'word': query_word} html_doc = get_page(base_url, param_dict) urls_list = parse_images(html_doc) if not os.path.exists('./results'): os.mkdir('./results') for url_item in urls_list[:min(10,len(urls_list))]: # 只下载前十张图为例 download_image(url_item) ``` 这段代码实现了基本功能框架,但在真实环境中还需要考虑更多细节问题比如异常情况下的重试逻辑、多线程加速下载速度以及遵守robots.txt协议等[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值