- 博客(112)
- 收藏
- 关注
RSS订阅原创 如何使用 Python 解析 HTML
这一次，我将带你了解如何使用三种流行工具解析 HTML：BeautifulSoup、lxml 和 html.parser。每一种工具都有其独特优势，我会向你展示如何充分利用它们。无论你是刚入门，还是希望提升技能，这些工具都会让 HTML 解析变得简单而高效。让我们开始吧！
2026-10-20 13:04:26
251
原创 如何使用 Selenium 和 Node.js 绕过 CAPTCHA
在本文中，我将解释如何使用 Selenium 和 Node.js 绕过 CAPTCHA。我们会了解不同的方法以及能够实现这一点的现代工具，同时保持内容简单且实用，适合任何希望克服这些挑战的开发者。
2026-10-16 18:57:33
363
原创 2025 年 Elixir 网页抓取：综合指南
在本指南中，我将带你了解如何使用 Elixir 进行网页抓取。我们会介绍基础内容——设置环境、必备工具和最佳实践。我还会讲解从分页页面和 JavaScript 渲染页面中抓取数据的技巧。让我们看看为什么 Elixir 正在成为网页抓取的热门选择！
2026-10-05 00:40:31
211
原创 什么是数据采集：你需要了解的一切
在本文中，我将解释数据采集、它的工作原理以及它的应用场景。我们还会了解让它变得更简单的工具、你可能面临的挑战等内容。让我们一步步拆解这个强大的流程，以便你了解它，并负责任地使用它。
2026-10-04 23:38:28
705
原创 什么是数据采集：你需要了解的一切
在本文中，我将解释数据采集、它的工作原理以及它的应用场景。我们还会了解让它变得更简单的工具、你可能面临的挑战等内容。让我们一步步拆解这个强大的流程，以便你了解它，并负责任地使用它。
2026-10-04 23:20:58
569
原创 如何在 Java 中使用 Selenium 绕过 CAPTCHA
我发现了一些技巧，可以在自动化操作时减少处理 CAPTCHA 的麻烦。无论是使用还是其他工具，这些策略都能提高你越过这道障碍的机会。目标并不是破解系统，而是在涉及 CAPTCHA 时，让自动化变得不那么复杂、耗时。让我们深入了解这些选项。
2026-09-29 17:53:48
304
原创 如何使用 Python Requests 绕过 CAPTCHA
在本指南中，我将介绍如何使用 Python Requests 来绕过 CAPTCHA，同时也会谈到一些重要的伦理考量和常见挑战。
2026-09-29 17:51:53
160
原创 2025 年使用 SeleniumBase 和 Python 进行网页抓取
SeleniumBase 是一个基于 Selenium 构建的开源 Python 框架，旨在简化网页自动化任务，包括测试和抓取。与通常需要大量样板代码的标准 Selenium 不同，SeleniumBase 通过内置的数据提取、交互自动化和反机器人规避工具，减少重复编码。
2026-09-29 17:21:03
138
原创 如何在 Java 中使用 Selenium 绕过 CAPTCHA
我发现了一些技巧，可以在自动化操作时减少处理 CAPTCHA 的麻烦。无论是使用 Selenium 还是其他工具，这些策略都能提高你越过这道障碍的机会。目标并不是破解系统，而是在涉及 CAPTCHA 时，让自动化变得不那么复杂、耗时。让我们深入了解这些选项。
2026-09-28 20:38:16
189
原创 如何使用 Python Requests 绕过 CAPTCHA
在本指南中，我将介绍如何使用 Python Requests 来绕过 CAPTCHA，同时也会谈到一些重要的伦理考量和常见挑战。
2026-09-28 20:35:46
183
原创 用 C# 构建网络爬虫：分步教程
在本文中，我将向你展示如何用 C# 构建一个网络爬虫。我们会从零开始，一步一步来。到最后，你将拥有一个高效、可扩展的爬虫，用于收集所需数据。
2026-09-28 20:34:16
1507
原创 2026 年 6 个最佳 Axios 替代方案
Axios 一直是用于在 JavaScript 中处理异步请求的热门 HTTP 客户端。它轻量、易用，并且适合许多项目。但说实话——并不是每个工具都适合每一项工作。有时 Axios 并不能满足需求，尤其是当你需要 HTTP/2 支持、对失败请求的内置重试，或需要处理动态内容时。
2026-09-28 20:01:46
235
原创 2025 年使用 SeleniumBase 和 Python 进行网页抓取
我觉得它特别有吸引力，因为它易于使用，并提供了强大的自动化功能，非常适合初学者和经验丰富的开发者。尽管存在一些挑战，例如反机器人检测和扩展方面的限制，但使用 UC 模式和代理设置等智能策略，可以大幅提高成功率。与通常需要大量样板代码的标准 Selenium 不同，SeleniumBase 通过内置的数据提取、交互自动化和反机器人规避工具，减少重复编码。随着自动化工具持续发展，能够适应并使用这些框架，是在不断变化的网页抓取世界中保持领先的关键。在这个示例中，我们将从一个电商演示站点抓取产品详情。
2026-09-28 09:53:38
252
原创 如何使用 Google Sheets 抓取网站数据
我将带你了解使用 Google Sheets 抓取数据的不同方法。其中有和等函数，每个函数都适用于不同任务。这些工具可让你从网页、结构化表格或 RSS 源中提取数据。尽管存在一些限制，但它们为基础数据提取提供了一个不错的起点。
2026-09-15 14:11:22
177
原创 使用 AutoScraper 进行网页抓取：分步教程
AutoScraper 是一个 Python 库，可以根据你提供的示例自动学习数据结构。它结合 AI 和启发式分析来检测网页中的模式，从而简化数据提取流程。与 BeautifulSoup 或 Scrapy 等其他抓取库不同，这些库需要显式编写数据路径代码，而 AutoScraper 会理解数据结构，并学习如何独立提取类似数据。代码量极少：提供一个你想抓取的数据示例，AutoScraper 会处理其余部分。结构化数据处理： 非常适合遵循清晰格式的网站，例如产品列表或信息表格。无需手动检查 HTML。
2026-09-15 14:07:19
109
原创 如何将网页抓取用于机器学习
机器学习（ML）是人工智能的一个分支，它使计算机无需显式编程即可从数据中学习模式。ML 模型会识别数据集中的趋势，从而基于新的输入进行预测和决策。从股票市场分析到图像识别，机器学习在现代技术中都至关重要。然而，ML 模型的有效性取决于用于训练它的数据质量和数量。这正是网页抓取变得不可或缺的地方。确定你需要的网站和数据。例如，从 Yahoo Finance 抓取股票价格，可以作为构建预测性 ML 模型的数据集。所选数据应与你的机器学习项目目标保持一致。
2026-09-15 14:03:16
76
原创 Scrapy vs Pyspider：你应该使用哪一个？
Scrapy 是一个基于 Python 的网页抓取框架，专为从网站提取结构化数据而设计。无论你是在处理小规模项目还是企业级任务，Scrapy 都能提供效率、速度和可扩展性。Scrapy 的主要功能使用 XPath 和 CSS 的强大选择器。用于清洗和组织数据的内置管道。支持代理和请求头的中间件，以避免被检测。可扩展架构，支持 Scrapy-Splash（用于 JavaScript 渲染）等第三方集成。虽然 Scrapy 和 Pyspider 都有各自的优势，但对于大多数网页抓取项目而言，Scrapy。
2026-09-08 09:55:29
315
原创 Scrapyd：分步教程
Scrapyd 是一款用于在服务器上部署和管理 Scrapy spiders 的工具。你可以通过简单的 API 调用远程控制所有内容。Scrapyd 服务器作为后台服务运行，会自动处理 crawl 请求并执行它们，无需人工干预。使用 Scrapyd，你可以轻松远程部署和管理你的Scrapy项目。通过统一的 JSON API控制所有抓取任务。使用用户友好的 Web 界面监控和管理你的 spiders。通过在多台服务器上运行 spiders 来扩展你的数据采集能力。
2026-09-01 15:32:09
192
原创 如何使用 Python 抓取 Google 的“People Also Ask”
Google 的“People Also Ask”功能对搜索结果页面很有帮助。它会显示与用户初始搜索相关的问题。每个问题都可以展开并显示简短答案，帮助用户快速了解相关主题。这对 SEO 非常有价值，因为它有助于识别受众经常搜索的热门问题。
2026-09-01 15:23:40
168
原创 如何使用 Python 抓取 Google Flights：分步指南
为了让代码保持有序，我们将定义数据类来存储搜索参数以及我们提取的航班数据。@dataclass@dataclassstops: strprice: str保存航班搜索所需的详细信息。FlightData存储每个航班的信息，包括航空公司、时间、时长、经停、价格和 CO2 排放。使用 CSS 选择器可以让我们定位页面上的特定元素，以提取航空公司名称、出发时间、价格等详细信息。
2026-08-24 21:04:24
195
原创 2025 年最流行的反抓取技术
反抓取是网站用来阻止他人未经许可收集数据的一种方式。它通过使用不同的工具和技术来检测并阻止抓取行为。网站会监控异常活动，例如来自同一 IP 地址的请求过多，这可能表明存在抓取行为。
2026-08-24 20:57:42
208
原创 Playwright vs Selenium：哪个是最佳无头浏览器
Playwright是 Microsoft 于 2020 年推出的一款现代开源自动化工具。它提供单一 API，可在包括 Chromium、Firefox 和 WebKit 在内的所有主流浏览器上进行测试，并且旨在轻松处理复杂的基于 JavaScript 的应用程序。Playwright 强调精简、用户友好的 API、并行测试以及对异步操作的高效处理，使其成为开发者处理前沿 Web 应用时的有力选择。Selenium则是一个历史悠久的自动化框架，可追溯到 21 世纪初。
2026-08-24 20:51:24
270
原创 Golang 中解析 HTML 的指南
在本文中，我将向你展示如何使用内置的 net/html 包在 Go 中解析 HTML。我们会讲解基础知识，我也会介绍一些可能更适合特定任务的其他库。到最后，你将掌握解析 HTML、提取结构化数据，并使用 Go 像专业人士一样处理网页抓取的技能。让我们开始吧！
2026-08-21 16:40:51
182
原创 Golang 中解析 HTML 的指南
在本文中，我将向你展示如何使用内置的 net/html 包在 Go 中解析 HTML。我们会讲解基础知识，我也会介绍一些可能更适合特定任务的其他库。到最后，你将掌握解析 HTML、提取结构化数据，并使用 Go 像专业人士一样处理网页抓取的技能。让我们开始吧！
2026-08-21 16:40:03
193
原创 用于网页抓取的 Node-unblocker
Node Unblocker 是一个专为 Node.js 应用程序设计的开源 Web 代理。作为代理，它充当客户端与目标网站之间的中介，使用户能够绕过互联网审查、地理限制和基于 IP 的封锁。借助 Node Unblocker，开发者可以创建可定制的代理，以满足其网页抓取需求，从而在无需担心访问限制的情况下高效收集数据。通过调整 unblocker 配置，你可以根据特定需求定制代理。更改请求头：自定义请求头，用于身份验证或特定内容获取。添加 IP 轮换：使用动态代理以避免被检测到和触发速率限制。
2026-08-21 16:32:42
251
原创 使用 Scrapy 和 Splash 抓取无限滚动内容
在这里，我将带你了解如何将与配置起来，应对无限滚动，获取动态内容，并处理常见的抓取挑战。让我们一步步深入看看具体怎么做。
2026-08-21 16:20:00
265
原创 如何在 Python 中将代理与 SeleniumBase 一起使用
SeleniumBase 是一个构建在 Selenium WebDriver 之上的框架，提供增强的网页自动化功能。它通过提供用于管理浏览器交互的工具，简化浏览器自动化、测试和网页抓取。它非常适合创建端到端测试套件，以及执行涉及复杂浏览器交互的网页抓取任务，例如处理弹窗、表单提交和动态内容加载。
2026-08-21 16:14:42
163
原创 什么是 CAPTCHA，它是如何工作的？
CAPTCHA 是 “Completely Automated Public Turing Test to tell Computers and Humans Apart”（全自动区分计算机和人类的公共图灵测试）的缩写。它是一种测试或挑战，旨在通过向人类呈现简单但自动化系统难以解决的任务，来区分人类用户和机器人。CAPTCHA 在互联网上被广泛用于保护网站免受机器人侵害，这些机器人可能从事有害活动，例如创建账号、内容刷屏，甚至黑客攻击。
2026-08-18 19:20:18
400
原创 在 Cloudscraper 中使用代理：简明指南
Cloudscraper 是一个 Python 库，旨在绕过 Cloudflare 的反机器人防护。Cloudflare 以使用CAPTCHA 挑战和JavaScript谜题等技术来防止自动化访问网站而闻名。如果没有合适的工具，你的抓取请求可能会碰壁，被标记为机器人并随后遭到阻止。Cloudscraper 会自动处理访问受 Cloudflare 保护的网站所需的挑战和交互。它通过模拟类似浏览器的行为来简化网页抓取工作，使你的请求看起来更合法。
2026-08-18 18:57:22
214
原创 如何使用 Java 和 Jsoup 解析 HTML
Jsoup 是一个强大的 Java 库，专为处理真实世界中的 HTML 而设计。它提供了一个便捷的 API，用于获取、解析和操作 HTML。它最大的优势之一是能够处理有效和无效的 HTML，而这在处理网页时非常常见。
2026-08-08 00:16:58
216
原创 掌握网页抓取中的分页：完整指南
电商平台、招聘网站和社交媒体等网站会使用分页来处理大量数据。如果把所有内容都显示在一个页面上，会拖慢下载速度并占用过多内存。分页会将内容拆分到多个页面中，使其更易于管理。它还提供了简单的导航方式，例如“下一页”按钮、页码或自动滚动。这能让浏览保持快速且组织有序。分页确保用户能够快速找到所需内容，同时不会让系统不堪重负。
2026-08-07 23:45:37
203
原创 掌握网页抓取中的分页：完整指南
电商平台、招聘网站和社交媒体等网站会使用分页来处理大量数据。如果把所有内容都显示在一个页面上，会拖慢下载速度并占用过多内存。分页会将内容拆分到多个页面中，使其更易于管理。它还提供了简单的导航方式，例如“下一页”按钮、页码或自动滚动。这能让浏览保持快速且组织有序。分页确保用户能够快速找到所需内容，同时不会让系统不堪重负。
2026-08-07 23:43:52
188
原创 如何将 B2B API 数据成功集成到您的工作流程中
B2B API（应用程序编程接口）集成涉及连接两个或多个不同的系统或软件平台，使它们能够有效地通信和交换数据。这些接口简化了信息传输，并确保每个系统都使用一致且最新的数据。B2B API 集成可以显著减少人工劳动，简化复杂的工作流程，并提高数据驱动决策的准确性。B2B API 的示例包括从 CRM 平台集成客户数据、连接产品库存系统，或集成支付网关以改善客户体验。在开始集成之前，明确您的业务目标以及需要集成的具体数据至关重要。定义这些目标将帮助您确定哪些数据需要在系统之间共享，以及哪些系统需要连接。
2026-08-06 14:43:28
424
原创 用于网页抓取的 HTTP 标头——入门指南
HTTP 标头是 HTTP 请求和响应结构的核心组成部分。它们包含有关请求或响应的元数据，例如内容类型、浏览器类型或网站的语言偏好。在网页抓取时，添加正确的 HTTP 标头可以让你向服务器发送必要信息，使你的请求看起来合法可信。许多网站使用复杂的机器人检测系统来分析请求模式和 HTTP 标头。基础且未修改的标头配置通常会明显暴露机器人活动。因此，调整你的标头以模拟合法流量，对于有效且不被检测的抓取至关重要。
2026-08-06 14:31:31
177
原创 如何对请求进行限流：综合指南
限流会限制请求数量，保护服务器不被高流量压垮。这就像设置速度限制，确保没有人能同时用过多调用淹没应用程序。这样做可以让我保持稳定性，并为每位用户提供公平的体验。在本文中，我将探讨几种请求限流方法，解释如何实现它们，并重点说明它们为何在现代软件开发和网页抓取中如此重要。
2026-08-06 14:24:14
477
原创 如何使用 Python 抓取 Google Trends
是一款在线工具，可以显示某个特定搜索词在一段时间内相对于 Google 总搜索量的输入频率。它是理解以下内容的绝佳资源：某些主题的受欢迎程度。不同地区对各种词条的兴趣。兴趣的季节性变化。用户可以通过访问这些数据来可视化并比较趋势，从而更好地理解受众行为。
2026-08-06 14:16:44
192
原创 如何使用 Python 抓取 Google Trends
是一款在线工具，可以显示某个特定搜索词在一段时间内相对于 Google 总搜索量的输入频率。它是理解以下内容的绝佳资源：某些主题的受欢迎程度。不同地区对各种词条的兴趣。兴趣的季节性变化。用户可以通过访问这些数据来可视化并比较趋势，从而更好地理解受众行为。
2026-08-06 14:14:15
202
原创 抓取时让 Python 的 Beautiful Soup 更快的 10 个技巧
在本指南中，我将分享 10 个简单技巧，帮助加速你的项目。这些技巧能让你在不损失准确性、不遗漏重要数据的情况下，更快速、更高效地抓取。让我们开始吧！
2026-07-21 13:34:48
211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人