par_scrape：强大的网页抓取工具

par_scrape：强大的网页抓取工具

par_scrape 项目地址: https://gitcode.com/gh_mirrors/pa/par_scrape

在当今信息爆炸的时代，数据的获取和处理变得尤为重要。par_scrape 是一款功能强大的网页抓取工具，支持使用 Selenium 或 Playwright 进行数据抓取，并采用 AI 技术进行数据提取和格式化。下面，我们就来详细了解这款开源项目。

项目介绍

par_scrape 是一个多功能的网页抓取工具，它不仅支持 Selenium 或 Playwright，还集成了 AI 助力的数据提取和格式化功能。这款工具能够帮助用户轻松地从网页中提取所需信息，并以多种格式（JSON、Excel、CSV、Markdown）输出。

项目技术分析

par_scrape 基于Python 3.11开发，支持多种操作系统（Linux、MacOS、Windows）和架构（x86-64、ARM、AppleSilicon）。项目的核心是利用 Selenium 或 Playwright 进行网页内容抓取，然后将 HTML 转换为清洁的 Markdown 格式。如果用户指定了除 Markdown 以外的输出格式，系统会根据用户指定的字段构建一个 pydantic 模型，并将 Markdown 发送到 AI 提供商，以获取所需的结构化输出。

项目技术应用场景

par_scrape 适用于多种场景，包括但不限于：

• 网页内容抓取：快速从目标网页中提取所需信息。
• 数据分析：抓取的数据可以用于进一步的数据分析和处理。
• 自动化测试：在自动化测试中，可以使用 par_scrape 抓取网页内容，以便进行验证。
• 内容聚合：从多个网站抓取数据，进行聚合展示。

项目特点

1. 多引擎支持：支持使用 Selenium 或 Playwright 进行网页抓取，用户可以根据实际情况选择合适的引擎。
2. AI 助力：集成了 AI 技术进行数据提取和格式化，提高了数据处理的准确性和效率。
3. 多种输出格式：支持多种输出格式（JSON、Excel、CSV、Markdown），满足不同用户的需求。
4. 自定义字段提取：用户可以自定义从网页中提取的字段，灵活性高。
5. token 使用和成本估算：提供了 token 使用和成本估算功能，帮助用户合理使用资源。
6. prompt 缓存：针对 Anthropic 提供商，支持 prompt 缓存功能，以降低成本。

以下是一个使用 par_scrape 的基本示例：

# 命令行运行示例
par_scrape --url "https://openai.com/api/pricing/" -f "Title" -f "Description" -f "Price" -f "Cache Price" --model gpt-4o-mini --display-output md

在这个示例中，par_scrape 会从指定的 URL 抓取网页内容，并提取指定的字段（Title、Description、Price、Cache Price），然后使用 gpt-4o-mini 模型进行处理，并以 Markdown 格式输出。

总结来说，par_scrape 是一款功能强大、灵活且易于使用的网页抓取工具，无论是数据获取还是数据分析，都能提供有效的支持。如果你需要进行网页抓取工作，不妨尝试一下 par_scrape。

par_scrape 项目地址: https://gitcode.com/gh_mirrors/pa/par_scrape