PaECTER模型在专利分析领域的应用-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_02890/article/details/144531753

PaECTER模型在专利分析领域的应用

paecter 项目地址: https://gitcode.com/mirrors/mpi-inno-comp/paecter

概述

在技术飞速发展的当下，专利信息作为创新活动的重要组成部分，其管理和分析工作变得越来越复杂。专利分析师需要在海量的专利文献中快速寻找相关技术信息、评估专利价值以及进行技术趋势分析。然而，传统分析手段往往耗时耗力，难以满足高效率和高准确度的需求。PaECTER（Patent Embeddings using Citation-informed TransformERs）模型，作为一种专利相似度模型，应运而生，旨在解决上述问题。

行业需求分析

在专利分析领域，当前的痛点主要包括：

海量专利数据难以有效管理与检索；
专利相似度评估缺乏精准和高效的工具；
对专利的深入分析和应用评估需要更高质量的语义理解。

行业对技术的需求集中于：

提高专利检索的准确性和效率；
精确评估专利间的相似度和关联性；
加快专利分析流程，提供高效的决策支持。

模型的应用方式

PaECTER模型基于谷歌的BERT for Patents构建，能够生成1024维密集向量嵌入，准确捕捉专利文本的语义本质。它可以被轻松地集成到各种专利分析流程中，包括语义搜索、先有技术搜索、聚类分析和专利布局等任务。

使用PaECTER模型的两种方法如下：

使用Sentence-Transformers：

如果安装了sentence-transformers库，可以非常简洁地使用PaECTER模型。

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('mpi-inno-comp/paecter')
embeddings = model.encode(sentences)
print(embeddings)

使用HuggingFace Transformers：

如果未安装sentence-transformers库，可以通过HuggingFace Transformers使用模型。需要先通过transformers库加载预训练模型和分词器，然后对输入文本进行编码，最后应用适当的池化操作。

from transformers import AutoTokenizer, AutoModel
import torch

# Mean Pooling
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0]
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# 示例句子
sentences = ['This is an example sentence', 'Each sentence is converted']
# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained('mpi-inno-comp/paecter')
model = AutoModel.from_pretrained('mpi-inno-comp/paecter')

# 对句子编码
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt', max_length=512)
with torch.no_grad():
    model_output = model(**encoded_input)
# 应用池化操作
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
print("Sentence embeddings:")
print(sentence_embeddings)