使用深度学习嵌入和 FAISS 进行实时内存语义搜索

人工智能原理与实践 全面涵盖人工智能和数据科学各个重要体系经典

北大出版社，人工智能原理与实践 人工智能和数据科学从入门到精通 详解机器学习深度学习算法原理

我们使用基于BERT的句子转换器对短文本进行编码，然后使用内存搜索引擎 FAISS 对结果进行索引；最终很容易的在 CPU 平台上实现语义搜索的实时查找。

安装包

!pip install faiss-cpu
!pip install -U sentence-transformers

import libraries

import numpy as np
import torch
import os
import pandas as pd
import faiss
import time
from sklearn.datasets import fetch_20newsgroups
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('distilbert-base-nli-mean-tokens')

model.encode(['how are you'])[