使用OpenAI Metadata Tagger自动化文档元数据提取_openmetadata怎么抽取数据-优快云博客

本文链接：https://blog.youkuaiyun.com/asdfghiuus/article/details/144598841

引言

在现代数据驱动的世界中，文档的数量和种类繁多，如何有效管理和搜索这些文档成为了一项重要任务。为文档添加结构化元数据，例如标题、语气或长度，可以提高后续相似性搜索的效率。但当文档数量庞大时，手动标记过程既耗时又乏味。为了解决这个问题，OpenAI Metadata Tagger 提供了一种自动化方法，通过预定义的模式从文档中提取元数据。

本文将深入介绍如何使用 OpenAI Metadata Tagger 自动化提取文档元数据，提供实用知识和代码示例，并讨论可能遇到的挑战和解决方案。

主要内容

OpenAI Metadata Tagger 简介

OpenAI Metadata Tagger 是一个文档转换器，它使用可配置的 OpenAI Functions 驱动的链来从文档中提取元数据。开发者需要将完整的文档输入到此转换器中，以确保提取的准确性。

配置元数据模式

首先，需要定义一个有效的 JSON Schema 对象，描述文档中需要提取的元数据字段。

schema = {
    "properties": {
        "movie_title": {"type": "string"},
        "critic": {"type": "string"},
        "tone": {"type": "string", "enum": ["positive", "negative"]},
        "rating": {
            "type": "integer",
            "description": "The number of stars the critic rated the movie",
        },
    },
    "required": ["movie_title", "critic", "tone"],
}

使用 OpenAI 模型

使用支持函数的 OpenAI 模型，例如 gpt-3.5-turbo-0613，构建文档转换器：

from langchain_openai import ChatOpenAI

# 使用 API 代理服务提高访问稳定性
llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0613")

创建文档转换器

使用预定义的模式和 LLM 模型来创建文档转换器：

from langchain_community.document_transformers.openai_functions import (
    create_metadata_tagger,
)

document_transformer = create_metadata_tagger(metadata_schema=schema, llm=llm)

处理文档

将文档传递给转换器，提取元数据：

from langchain_core.documents import Document

original_documents = [
    Document(
        page_content="Review of The Bee Movie\nBy Roger Ebert\n\nThis is the greatest movie ever made. 4 out of 5 stars."
    ),
    Document(
        page_content="Review of The Godfather\nBy Anonymous\n\nThis movie was super boring. 1 out of 5 stars.",
        metadata={"reliable": False},
    ),
]

enhanced_documents = document_transformer.transform_documents(original_documents)

代码示例

以下代码展示如何将提取的元数据附加到原始文档中，并打印结果：

import json

print(
    *[d.page_content + "\n\n" + json.dumps(d.metadata) for d in enhanced_documents],
    sep="\n\n---------------\n\n",
)

输出示例：

Review of The Bee Movie
By Roger Ebert

This is the greatest movie ever made. 4 out of 5 stars.

{"movie_title": "The Bee Movie", "critic": "Roger Ebert", "tone": "positive", "rating": 4}

---------------

Review of The Godfather
By Anonymous

This movie was super boring. 1 out of 5 stars.

{"movie_title": "The Godfather", "critic": "Anonymous", "tone": "negative", "rating": 1, "reliable": false}