基于Bert的相关书名检索推荐算法

最新推荐文章于 2025-09-03 00:32:45 发布

原创

最新推荐文章于 2025-09-03 00:32:45 发布 · 315 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #机器学习 #深度学习

该代码示例展示了如何使用BERT模型对中文文本进行预处理和词向量生成，然后利用BernoulliRBM进行特征提取，最后通过余弦相似度计算不同文本之间的相似度，用于信息检索。

# -*- coding: utf-8 -*-
import pandas as pd
from sklearn.neural_network import BernoulliRBM
from transformers import BertTokenizer, BertModel
import torch
from sklearn.metrics.pairwise import cosine_similarity
# 步骤1：读取CSV文件，并选择用户指定的属性列
data =pd.read_csv(r'中国.csv',encoding='gbk') # 替换为实际的文件路径和文件名
new_documents = pd.DataFrame({'书名': ["太白金星有点不太高兴"]})
datas=pd.concat([data,new_documents],ignore_index=True)
#print(datas)
text_data = data['书名'].astype(str)  # 获取指定属性列并转换为字符串类型
# print(text_data)
# 步骤2：使用BERT tokenizer对文本数据进行tokenization
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')  # 加载预训练的BERT tokenizer
tokens = tokenizer.batch_encode_plus(
    text_data.tolist(),
    add_special_tokens=True,
    max_length=16,  # 根据需求自定义最大长度
    padding='max_length',
    truncation=True,
    return_tensors='pt')
# 步骤2：使用BERT模型生成词向量
model = BertModel.from_pretrained('bert-base-uncased')  # 加载预训练的BERT模型，可根据选择相应型
input_ids = tokens['input_ids']
attention_mas