为什么在NLP里面使用FAISS的精度没有余弦高

原创

已于 2025-03-08 21:46:30 修改 · 470 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #faiss #人工智能

于 2025-03-08 15:08:36 首次发布

今天在做ＮＬＰ意图识别测试的时候发现自己的FAISS识别的内容还没有余弦的高，感到很奇怪。代码如下

1、先加载向量模型

from sentence_transformers import SentenceTransformer
import os

os.environ['TRANSFORMERS_CACHE'] = 'D:/HuggingFace'  # 可选，指定模型缓存路径
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'  # Hugging Face 镜像

# hf_hub_download.repo_url_prefix = "https://mirror.tuna.tsinghua.edu.cn/hugging-face-transformers"

# 加载预训练模型
model = SentenceTransformer('all-MiniLM-L6-v2',device="cpu")  # 小型模型，速度快，精度高

2、定义测试数据

intents = {
    "query_balance": ["查询余额", "余额查询", "查账户里的钱"],
    "query_wheather": ["天气怎么样", "查询天气"],
    "transfer_money": ["转账", "给别人汇款", "支付给对方"],
    "open_account": ["开户", "我要开账户", "申请银行账号"],
    "order_check": ["查订单", "订单查询", "订单状态"],
    "query_bill": ["账单查询", "查询账单", "账单怎么样"],
    "order_food": ["订餐", "我要订餐", "订餐服务"],
    "query_express": ["查快递", "快递查询", "查询快递状态"],   
    "query_stock": ["查股票", "股票查询", "查询股票价格"],
    "query_traffic": [