使用google-image-download爬取图像

最新推荐文章于 2025-11-12 00:26:39 发布
原创 最新推荐文章于 2025-11-12 00:26:39 发布 · 5.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#google #图像 #数据采集 #数据标注

针对Google图片搜索结果的爬取需求，介绍了一款强大的开源工具google-image-download的使用方法及遇到的问题解决。该工具需通过pip安装，并在Google更改策略后进行代码手动更新以保证下载效果。
部署运行你感兴趣的模型镜像

最近做的一个目标检测模型需要使用大量图像进行训练，最方便的图像获取方式就是通过搜索引擎获取，而Google的搜索结果更适合。
github上有不少开源的Google图像爬取工具，其中star数最多功能最强的就属google-image-download，其安装方式pip安装与编译安装，我为了省事，直接用pip安装

>>> pip3 install google_images_download

安装完成后就可以使用了
有非常多的参数供你使用，具体可以看：https://google-images-download.readthedocs.io/en/latest/arguments.html

但是！！
你会发现不管怎么修改参数，都会报错

Item no.: 1 --> Item name = 2020-02-16 11_28_03
Evaluating...
https://thethaiger.com/wp-content/uploads/2020/01/china-hong-kong-coronavirus.jpg
Starting Download...


Unfortunately all 20 could not be downloaded because some images were not downloadable. 0 is all we got for this search filter!

Errors: 0


Everything downloaded!
Total errors: 0
Total time taken: 3.1959006786346436 Seconds

经过一番搜索，发现是由于Google修改了一些策略，导致链接获取出问题了。有大神修改了代码，但是还没有合并到master，因而就需要我们自己手动修改
首先，找到你的google-image-download文件地址
我的在~/.local/lib/python3.6/site-packages/google_images_download/
用修改后的google_images_download.py，替换原来的google_images_download.py
再进行下载，就没问题了。

当然了，正常下载的前提是需要科学上网，这个我就不细说了

最后不得不吐槽一下数据标注真心累。。。

您可能感兴趣的与本文相关的镜像

Yolo-v5

Yolo-v5

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

Python实现谷歌图像下载器
qq_39605374的博客
09-04 284
这就是使用Python编写的简单谷歌图像下载器的实现。你可以根据需要扩展该程序，添加更多功能，如设置下载图像的分辨率、保存路径等。在本文中，我们将使用Python编写一个简单的谷歌图像下载器，该程序可以帮助我们从谷歌搜索中下载图像到本地计算机。在上面的示例中，我们将搜索关键字设置为"猫"，并指定要下载的图像数量为5。接下来，我们可以定义一个函数来下载谷歌图像。这个函数将接受两个参数：搜索关键字和要下载的图像数量。现在，我们可以调用这个函数来下载图像。运行代码后，你应该能够看到成功下载图像的路径列表。
超强干货之---Python-数据爬取（爬虫）
热门推荐
房东的猫的博客
07-12 5万+
定义： 深度优先搜索是一种遍历或搜索树或图的算法，从起始节点开始，一直沿着一个分支走到底，再回溯到上一个节点继续搜索下一个分支，直到遍历完所有节点。特点递归：通常用递归实现，或者使用栈来模拟递归过程。内存占用低：在有大量分支的情况下，内存占用比广度优先搜索低。适合目标较深的情况：如果目标节点距离起始节点较深，DFS能更快找到目标。适用场景需要遍历所有节点的情况，如生成树、迷宫搜索。目标节点较深，且分支较多时。在大规模数据爬取时，选择合适的存储方式取决于数据的规模、结构和访问需求。
win10上使用google images download 扒谷歌图片
stonegarlice的博客
08-07 1135
参考 youtube 视频： scraping images from Google Images(using google-images-download) 安装 chromeDriver 参考：win10下chromedriver下载及安装–以及selenium的配置 pip install google_images_download googleimagesdownload --keywords "blue" --limit 3000 --format png --size ">2MP" -
Image-Downloader 开源项目使用教程
最新发布
gitblog_00805的博客
11-12 1125
Image-Downloader 项目的目录结构如下： ``` Image-Downloader/ ├── README.md ├── requirements.txt ├── main.py ├── config.ini ├── src/ │ ├── downloader.py │ ├── utils.py │ └── ... └── tests/ ├── test_dow
Image Download(图片下载)
11-15
可以自动下载网页,论坛,相册,图集,缩略图所对应的图片,并自动跳入下一页. 用户也可以引导程序找到下一页. 程序还可以将整个小站的所有图片下载下来. 支持超链接,javascript,多帧等情况 it can download the images of website, forum, album, and jump to the next page automatically. and the user also can help the app to find the next button/page, so that it can automatically download images. it also can download some small websites' all images if you want. it can support the hyper link, javascript, multi-frames. it is based on .NET 2.0 the language is C# the core tech is webbrowser, multi-thread, 望指教!
google_images——download安装！无错
qq_41818458的博客
11-15 2428
google_images——download安装安装文件改变使用 安装 google-images-download 安装很简单。 只需要在终端下，执行以下命令： pip install google_images_download 或者github： https://github.com/hardikvasa/google-images-download 注意：这个装好之后是不可以直接下载的，下载不了图片。 文件改变 因为这个网站的google image download比较老，无法下载图片。将goo
Google 图片下载器 (google-images-download) 教程
gitblog_00696的博客
08-08 706
Google 图片下载器 (google-images-download) 教程 1. 项目目录结构及介绍 以下为 google-images-download 项目的典型目录结构： google-images-download/ ├── docs/ # 文档相关文件 │ ├── README.rst ├── images/ # 默认下载的图片将保存在此...
使用 Python 从谷歌搜索结果中抓取图像
mopanchun的博客
11-22 794
使用 Python 从谷歌搜索结果中抓取图像
Python爬虫博客：爬取Google与Bing图片搜索的图片
2201_76125261的博客
04-09 788
在本文中，我们介绍了如何使用Python爬虫技术抓取Google和Bing图片搜索的图片资源。通过模拟浏览器行为、绕过反爬虫机制、批量下载图片等技术手段，我们能够高效地爬取互联网上的大量图片数据。这些图片数据可以用于机器学习、图像分析等多个领域。爬虫技术的发展和应用仍然充满挑战，但随着技术的不断进步，爬虫变得越来越智能和高效。希望本文能够为你提供有价值的帮助，并启发你在实际项目中更加灵活地运用爬虫技术。
Python实践——百度&Google爬取图片数据方法及代码（可成功实现）
2403_87584552的博客
09-23 1563
以爬取“交通标志”图片为例。
- 导入CIFAR-10数据集。 - 从网上爬取下载构建一个包含2000张图像的猫狗数据集，猫狗各1000张。
12-27
image = Image.open(BytesIO(image_content)).convert('RGB') with open(image_path,'wb') as f: image.save(f,"JPEG",quality=85) print(f"SUCCESS - saved {url} - as {image_path}") except Exception as e:...
Image Download
02-17
Image downloader for down image from website
google-image-downloader:Google的命令行图像下载器
05-12
Google图片下载器 Google的命令行图像下载器，基于Peter Evers的images-scraper （ ）项目。 要求 此应用需要Nodejs版本12或更高版本。 此外，它还需要安装Google Chrome浏览器。 如何安装 npm install -g @ahmetcetin/image-downloader 对于Ubuntu或其他Linux发行版的警告：如果您使用的是Linux，则可能会出现拒绝访问错误。 如果尚未完成，最好告诉npm在您的主目录中安装全局软件包，这样就不需要sudo了。 实际上，对于GoogleDL，因为它安装了Chromium，所以即使使用sudo进行安装也无济于事。 请按照本页中描述的步骤在Linux上安装它： : 如何使用 只需在终端中运行googledl ，然后按照说明进行操作即可。 输入参数后，它将启动Chrome浏览器并在Goog
自动爬取百度谷歌图片
09-20
手撸了一个下载器，可以自动下载百度谷歌图片，只要输入搜索关键词即可。内附所需配置驱动以及使用说明。
google_images_downloader:批量下载图像的脚本
05-10
google_images_downloader 批量下载图像的脚本
google-images-download脱坑指南
Chz的博客
07-25 1627
官方文档：https://google-images-download.readthedocs.io/en/latest/ 总结：不好用维护差 官方文档安装的gui的也没有说啥版本 现在的版本在Python2.7里不支持非ascii编码，在python3.7里不支持非utf-8编码（中文没问题但是法语等不支持） python3语言编码问题 print(iteration.encode('...
Google Images Download：一键抓取，无限可能
gitblog_00022的博客
03-20 913
Google Images Download：一键抓取，无限可能 项目地址:https://gitcode.com/gh_mirrors/go/google-images-download 在互联网上寻找图片是常见的需求，但是批量下载这些图片却不是每个工具都能做到的。这就是项目的魅力所在。这是一个简单而强大的Python脚本，能够帮助用户方便地批量下载谷歌搜索结果中的图片。 技术分析 该项目基于P...
image download from google by python
u012138690的专栏
10-17 658
boss说要下人脸数据集，好好研究了下怎么从google下载数据集。 最终是用python脚本，通过mechanize库的函数访问google网站，然后通过正则表达式把图片的url搞到，然后用wget下载   1. 首先是要安装python的mechanize库 2. 然后就是代码了。网上自己找了一下代码，做了个半成品出来，恩
使用爬虫爬取google图片
02-27
### 使用Python爬虫抓取Google图片的方法及注意事项 #### 方法概述 为了从Google抓取图片，通常会采用Selenium库来模拟浏览器行为并加载页面上的JavaScript内容。由于现代网页大量依赖于动态加载技术，传统的静态HTML解析方法可能无法获取完整的图像链接列表。 #### 安装所需软件包 在开始之前，需安装几个必要的Python库： ```bash pip install selenium requests beautifulsoup4 pillow webdriver_manager ``` #### 设置环境与导入模块 准备阶段涉及配置Webdriver以及引入所需的Python库。 ```python from selenium import webdriver from selenium.webdriver.common.by import By import time import os import requests from PIL import Image from io import BytesIO from webdriver_manager.chrome import ChromeDriverManager ``` #### 初始化WebDriver实例 创建Chrome WebDriver对象以便后续操作自动化浏览过程。 ```python browser = webdriver.Chrome(ChromeDriverManager().install()) search_url = "https://www.google.com/search?q={q}&tbm=isch" browser.get(search_url.format(q='example')) time.sleep(1) # 等待页面完全加载 ``` #### 获取图片URLs 通过XPath定位器找到所有的缩略图元素，并提取其`src`属性作为原始大小的图片链接。 ```python thumbnail_results = browser.find_elements(By.CSS_SELECTOR, "img.Q4LuWd") image_urls = [] for img in thumbnail_results[:5]: # 只处理前五张图片为例 try: img.click() time.sleep(0.5) actual_images = browser.find_elements(By.CSS_SELECTOR,'img.n3VNCb') for actual_image in actual_images: if actual_image.get_attribute('src') and 'http' in actual_image.get_attribute('src'): image_urls.append(actual_image.get_attribute('src')) break except Exception as e: print(f"Could not retrieve image {e}") ``` #### 下载并保存图片文件 遍历收集到的URL列表下载每一张图片至本地磁盘中指定位置。 ```python def persist_image(folder_path:str,url:str): try: image_content = requests.get(url).content except Exception as e: print(f"ERROR - Could not download {url} - {e}") try: image_file = BytesIO(image_content) image = Image.open(image_file).convert('RGB') file_path = os.path.join(folder_path,hashlib.sha1(image_content).hexdigest()[:10] + '.jpg') with open(file_path, 'wb') as f: image.save(f,"JPEG", quality=85) print(f"SUCCESS - saved {url} - as {file_path}") except Exception as e: print(f"ERROR - Could not save {url} - {e}") for url in set(image_urls): # 去重后再执行存储动作 persist_image('./images', url) ``` #### 注意事项 - **合法性审查**：确保所使用的API接口和服务条款允许此类数据采集活动；对于受版权保护的内容尤其要谨慎行事[^1]。 - **频率控制**：频繁请求可能导致IP被封禁或触发验证码机制，建议合理安排访问间隔时间以降低风险。 - **反爬策略应对**：面对复杂的反爬措施（如CAPTCHA），考虑借助第三方服务提供商的帮助或是调整算法逻辑绕过检测。 - **隐私政策遵循**：尊重个人资料保密原则，在未经同意的情况下不得擅自搜集敏感信息。
评论 19
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值