xhsun的博客

复现ESimCSE论文

本文主要介绍一个框架nlp-basictasksnlp-basictasks是利用PyTorch深度学习框架所构建一个简单的库，旨在快速搭建模型完成一些基础的NLP任务，如分类、匹配、序列标注、语义相似度计算等。下面利用该框架实现BERT模型做文本分类任务导入包import sys,osimport pandas as pdimport randomimport numpy as npfrom nlp_basictasks.tasks import clsfrom nlp_basictas

本文主要介绍一个框架nlp-basictasksnlp-basictasks是利用PyTorch深度学习框架所构建一个简单的库，旨在快速搭建模型完成一些基础的NLP任务，如分类、匹配、序列标注、语义相似度计算等。下面利用该框架实现问答检索所谓检索，就是将本地所有待检索的每一个句子编码成一个向量，将这些向量存储起来，称之为索引index。然后针对用户的问题query，将其编码为一个对应的向量query_vector，计算query_vector和索引中每一个vector的相似度，得到相似度最高的几个ve

本文主要介绍一个框架nlp-basictasksnlp-basictasks是利用PyTorch深度学习框架所构建一个简单的库，旨在快速搭建模型完成一些基础的NLP任务，如分类、匹配、序列标注、语义相似度计算等。下面利用该框架实现BERT+CRF模型做NER任务数据集介绍数据集来源来源CLUE实体识别数据集导入包import torch,jsonimport sys,osimport pandas as pdimport randomimport numpy as npfrom nl