使用 Diffbot 的 Extract API 以结构化方式提取网页数据

本文链接：https://blog.youkuaiyun.com/fgayif/article/details/146451409

在互联网快速发展的今天，获取和处理海量的网页数据成为许多应用的核心需求。传统的网页抓取工具往往需要为每个网站定制抓取规则，而 Diffbot 的 Extract API 通过机器学习和计算机视觉技术，打破了这个限制。本文将深入探讨如何利用 Diffbot Extract API，将网页数据转换为结构化的 JSON 格式，以便于下游应用处理。

技术背景介绍

Diffbot 提供了一系列基于机器学习的产品，目的是简化从网页中提取和结构化数据的流程。与传统的网页抓取工具不同，Diffbot 的 Extract API 不需要手动编写规则即可解析网页内容，并能自动将页面内容分类为 20 种不同类型之一。最终生成的结构化 JSON 数据遵循一致的类型本体论，便于从多个不同的网页源提取数据。

核心原理解析

Diffbot Extract API 的核心在于其背后的计算机视觉模型。该模型通过分析网页的布局和内容，将页面分类后，转化为 JSON 格式。此过程不需要用户指定规则，使得用户能够方便地从不同网页中提取结构一致的数据。

代码实现演示

下面是如何使用 Diffbot Extract API 来提取网页数据的具体步骤和代码示例。

设置环境

首先需要安装必要的 Python 包：

%pip install --upgrade --quiet langchain-community

然后获取 API 令牌，并设置环境变量：

%env DIFFBOT_API_TOKEN REPLACE_WITH_YOUR_TOKEN

使用文档加载器

通过 DiffbotLoader 模块，加载网页数据：

import os
from langchain_community.document_loaders import DiffbotLoader

urls = [
    "https://python.langchain.com/",
]

loader = DiffbotLoader(urls=urls, api_token=os.environ.get("DIFFBOT_API_TOKEN"))

# 加载并打印文档内容
documents = loader.load()
print(documents)

上面的代码片段将从指定的 URL 加载网页内容，并将其结构化为可操作的文档对象。

转换为知识图文档

我们可以进一步处理结构化数据，将其转换为知识图文档：

%pip install --upgrade --quiet langchain-experimental

from langchain_experimental.graph_transformers.diffbot import DiffbotGraphTransformer

diffbot_nlp = DiffbotGraphTransformer(
    diffbot_api_key=os.environ.get("DIFFBOT_API_TOKEN")
)

# 转换为图文档
graph_documents = diffbot_nlp.convert_to_graph_documents(documents)