如何抓取图片：分步指南

Decodo

已于 2024-12-11 16:48:35 修改

阅读量1.1k

点赞数 27

CC 4.0 BY-SA版权

文章标签：爬虫 SERP API 抓取图片 SERP爬虫API

于 2024-12-11 16:41:09 首次发布

本文链接：https://blog.youkuaiyun.com/SmartGarret/article/details/144403572

文章目录

前言
一、什么是Google图片搜索？
二、可以从 Google 图片中获取哪些数据？
三、抓取 Google 图片的 5 种方法
四、使用 Smartdaili 的 SERP 爬虫 API 抓取谷歌图片
1. 获取 SERP 爬虫API
2. 找到现成的刮刀
3. 配置扫描请求
4. 发送请求并导出回复
- 五、Google 图片搜索最佳实践
总结

前言

Google 图片可以说是人们在互联网上查找照片、绘画、插图和其他任何视觉文件的首选。其庞大的视觉内容库已成为全球用户的必备工具。在本指南中，我们将深入探讨可以从 Google 图片中抓取的数据类型，探索抓取这些信息的各种方法，并演示如何使用我们的 SERP 爬虫 API 高效地收集图片数据。
在这里插入图片描述

一、什么是Google图片搜索？

Google 图片搜索是从 Google 图片中自动提取图片数据的过程。通过基于特定关键字或标准的程序化搜索，您可以收集相关信息，如图片 URL、标题、alt 文本和描述。

使用网络搜刮工具和脚本，可以有效地从谷歌庞大的图片数据库中收集大量可视化内容和相关元数据。

这种做法在各个领域都很有价值，例如，专业人士可以通过访问可视化内容来支持他们的项目：

• 研究人员和分析人员收集图像数据，以研究视觉趋势、模式和文化现象。
• 营销人员和内容创作者可以通过图片来增强文章、博客和社交媒体帖子的效果。
• 开发人员建立数据集，用于在图像识别或分类等任务中训练机器学习模型。

二、可以从 Google 图片中获取哪些数据？

从 Google 图片中抓取数据时，可以提取与每张图片相关的几项关键信息：

• **图片 URL。**图片的直接链接，让您可以访问和下载这些图片，用于您的项目。
• **源网页 URL。**链接到图片的原始托管网页，提供上下文和其他详细信息。
• **标题和描述。**描述图片或其源页面的文字，帮助您了解内容和相关性。
• **域名。**托管图片的网站，用于对来源进行分类或评估可信度。
• **位置。**图片在 Google 搜索结果中的排名或顺序，表示图片与您的搜索查询的相关性。
• **搜索信息。**有关您搜索查询的元数据，包括使用的确切术语以及谷歌提供的任何更正或建议。

通过收集这些数据，您可以有效地将图像及其相关信息用于各种目的，例如为机器学习建立数据集、开展研究、增强内容或分析趋势。

三、抓取 Google 图片的 5 种方法

抓取 Google 图片可以通过多种方法完成，每种方法都适合不同的需求和专业技术水平。在本节中，我们将探讨如何使用一些常用方法从 Google 抓取图片。

1. Google 官方应用程序接口

Google提供了一个用于提取图片内容的官方 API，称为自定义搜索 JSON API。该 API 允许开发人员以编程方式检索和显示来自 Google 自定义搜索的搜索结果。具体来说，它支持图片搜索，使您能够以结构化的 JSON 格式直接从 Google 获取图片 URL、缩略图和相关元数据。遗憾的是，Google 设置了严格的使用限制和相关费用，这可能会造成限制。

2. 请求和 BeautifulSoup 库

Python 的请求库允许您向网页发送 HTTP 请求，而 BeautifulSoup 则帮助您解析和浏览 HTML 内容。结合这些库，你可以编写一个脚本来搜索 Google 图片并提取图片 URL、标题和描述等数据。这种方法可以让你控制抓取过程，但需要处理 Google 的反抓取措施。如需详细指南，请参阅我们的 Python 教程：从网站中抓取图片。

3. 使用 Selenium 实现自动化

Selenium 是一款功能强大的工具，可实现网络浏览器的自动化，因此非常适合用于扫描严重依赖 JavaScript 的动态网站。使用 Selenium，您可以模拟滚动和点击等用户交互，这对于在谷歌图片上加载更多结果非常有用。这种方法可以处理复杂的搜索任务，但可能需要更多的计算资源和编码专业知识。要了解有关此方法的更多信息，请查看我们有关使用 Selenium 进行网络抓取的博文。

4. 使用 google_images_download 库

google_images_download Python 库旨在从 Google 图片中下载图片。它允许您指定搜索参数、要下载的图片数量以及所需的图片格式，从而简化了下载过程。这个用户友好型工具只需最少的编码，因此对于那些缺乏网络搜刮经验的人来说也很容易使用。

5. 专用Google 图片搜索器

要想获得更高效、更省事的解决方案，您可以使用 Smartdaili 的 SERP 爬虫 API 等专用搜索器。该 API 旨在简化从搜索引擎结果页面（包括 Google 图片）收集数据的过程。它能处理所有复杂的问题，如旋转代理、验证码求解以及将数据解析为结构化格式。这意味着您无需担心技术难题或大量的编码工作。

我们甚至提供了一个现成的搜索器，它可以从 Google 搜索图片，而且不需要太多或任何编码经验。利用我们的 SERP 爬虫 API，您可以快速、可靠地收集项目所需的图片数据。

四、使用 Smartdaili 的 SERP 爬虫 API 抓取谷歌图片

比方说，我们想训练一台机器，让它知道人类的手是什么样子的。为此，我们需要一个庞大的手部图像数据集，其中包含各种位置、角度、肤色和光照条件的图像。手动收集成千上万张这样的图片将耗时过长，因此我们将使用一种名为 SERP 爬虫 API 的自动网络抓取工具。

1. 获取 SERP 爬虫API

2. 找到现成的刮刀

现成的搜刮器是我们的搜刮 API 中预先配置的模板，可提供具有适当参数选项和解析功能的特定目标搜刮。要找到 Google 图片的现成搜索器，请按照以下步骤操作：

访问刮板选项卡。
选择创建新刮板或查看下面的热门刮板列表。
点击 google_search。
展开特定目标菜单，在 TBM（按方法划分的术语）”选项中选择Google Images - isch。

现在您已将刮板设置为 Google 图片目标！

3. 配置扫描请求

输入您的查询（搜索短语）、语言、位置、设备类型、浏览器和网站域名等参数，以及分页和其他规格。如果启用 Bulk 参数，就可以同时针对多个查询。

在我们的例子中，因为我们要收集手的图片，所以我们要输入 “手 ”作为查询。

4. 发送请求并导出回复

设置好刮擦参数后，单击开始抓取按钮或选择计划按钮来执行项目，并将响应以适合您的时间间隔（每小时、每天、每周、每月或自定义费率）发送到您的电子邮件地址、webhook 或 Google Drive。

此外，您还可以用 cURL、Node.js 或 Python 复制请求代码，并将其集成到您的开发环境中。请查看我们的文档，调整参数以满足您的需求。我们在 Python 中的请求代码如下所示：

import requests
  
url = "https://scraper-api.smartproxy.com/v2/scrape"
  
payload = {
      "target": "google_search",
      "query": "hand",
      "locale": "en-us",
      "geo": "United States",
      "device_type": "desktop_chrome",
      "domain": "com",
      "page_from": "1",
      "num_pages": "10",
      "google_results_language": "en",
      "google_tbm": "isch",
      "parse": True,
      "google_safe_search": True
}
  
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "authorization": "Basic [BASE64_ENCODED_CREDENTIALS]"
}
  
response = requests.post(url, json=payload, headers=headers)
  
print(response.text)