tensor二维矩阵计算相似度

原创

于 2020-03-30 20:40:47 发布 · 3.8k 阅读

4 ·

CC 4.0 BY-SA版权

本文介绍了一种使用BERT预训练模型将文本转化为向量的方法，通过实例演示了如何利用BERT模型进行文本的向量化处理，为文本相似度计算等自然语言处理任务提供了基础。

注意：计算相似度时必须保证两个矩阵维度相同，否则报错

import torch
from transformers import BertConfig, BertModel, BertTokenizer


def bert_output(texts, name):
    tokens, segments, input_masks =[], [], []
    for text in texts:
        tokenized_text = tokenizer.tokenize(text)
        indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text)
        tokens.append(indexed_tokens)
        segments.append( [0]*len

最低0.47元/天解锁文章