Pipet 使用教程

Pipet 使用教程

pipet Swiss-army tool for scraping and extracting data from online assets, made for hackers 项目地址: https://gitcode.com/gh_mirrors/pip/pipet

1. 项目介绍

Pipet 是一个功能强大的命令行工具，用于抓取和提取在线资产的数据。它支持 HTML 解析、JSON 解析和客户端 JavaScript 评估三种操作模式。Pipet 依赖于如 curl 等现有工具，并使用 Unix 管道来扩展其内置功能。通过 Pipet，你可以追踪货物、获取音乐会门票发售通知、股票价格变动等信息。

2. 项目快速启动

首先，确保你的系统中安装了 Go 语言环境。

安装 Pipet

你可以使用以下命令安装 Pipet：

go install github.com/bjesus/pipet/cmd/pipet@latest

或者直接运行：

./pipet

运行示例

创建一个名为 hackernews.pipet 的文件，并输入以下内容：

curl https://news.ycombinator.com/
.title .titleline
span > a
.sitebit a

然后使用以下命令运行：

pipet hackernews.pipet

或者在安装后运行：

./pipet hackernews.pipet

你将在终端中看到 Hacker News 的最新信息。

3. 应用案例和最佳实践

使用自定义分隔符

使用 --separator 或 -s 选项来指定文本输出的自定义分隔符。例如，运行以下命令：

pipet -s "\n" -s "->" hackernews.pipet

来查看每个项目在新行中，标题和域名之间用 -> 分隔。

获取 JSON 格式输出

使用 --json 选项使 Pipet 将结果收集为 JSON 格式。例如：

pipet --json hackernews.pipet

使用模板

创建一个名为 hackernews.tpl 的模板文件，与 hackernews.pipet 文件相邻，内容如下：

<ul>
{{range $index, $item := index (index . 0) 0}}
<li>{{index $item 0}} ({{index $item 1}})</li>
{{end}}
</ul>

再次运行 pipet hackernews.pipet，Pipet 将自动检测模板文件并渲染结果。

使用 Unix 管道

你可以使用 Unix 管道在查询后执行命令。例如，计算每个标题的字符数，并提取完整的文章 URL：

curl https://news.ycombinator.com/
.title .titleline
span > a
span > a | wc -c
.sitebit a
.sitebit a | htmlq --attribute href a

监控变化

设置一个间隔和变化时运行的命令，当有变化时，Pipet 会通知你。例如，每当 Hacker News 第一条新闻发生变化时，获取通知：

curl https://news.ycombinator.com/
.title .titleline a
pipet --interval 60 --on-change "notify-send {}" hackernews.pipet

4. 典型生态项目

Pipet 可以与多种开源工具和平台配合使用，例如：

• 使用 Docker 容器化 Pipet 以便在不同环境中部署。
• 集成到 CI/CD 流程中，自动抓取数据并触发后续操作。
• 与数据库和数据分析工具配合，进行大规模的数据抓取和分析。

通过以上介绍，你可以开始使用 Pipet 来简化数据抓取任务，并探索更多的应用场景和最佳实践。

pipet Swiss-army tool for scraping and extracting data from online assets, made for hackers 项目地址: https://gitcode.com/gh_mirrors/pip/pipet