- 博客(7)
- 收藏
- 关注
RSS订阅原创 NLP语料预处理小记
分词import nltksentence = 'I love caicai!'print(nltk.word_tokenize(sentence))>>['I', 'love', 'caicai', '!']手动构建词表在torchtext中可以轻松构建词表 但有时候我们需要手动构建词表 并转换成数字sentence = 'I love caicai!'vocab = set()for word in nltk.word_tokenize(sentence): vo
2021-06-29 14:50:34
209
1
原创 python 使用Stanford parser句法依存分析
使用Stanford parser进行句法依存分析斯坦福封装了一个python的包stanfordcorenlp 用来调用使用之前先pip一下然后需要下载jar包文件下载地址nlp = StanfordCoreNLP(r'G:\project\stanford-corenlp-4.2.2') sentence = "hello world."print(nlp.dependency_parse(sentence))nlp.close()...
2021-06-10 21:01:39
1784
2
原创 please use torch.load with map_location=torch.device(‘cpu‘) to map your storages to the CPU.
问题：RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device(‘cpu’) to map your storages to the CPU.解决问题的方法：torc
2020-10-16 16:22:07
6227
5
原创 论文学习-ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation
论文学习-ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue GenerationMotivation &Novety在多轮对话生成中，上下文语义对模型下一步的对话生成产生很重要，目前在多回合对话生成中广泛采用的是分层递归模型等。他们不加区别的对待所有上下文会损害模型的性能。本文提出一个新的模型ReCoSa，来解决多轮对话中的生成问题。本文引入了自注意力机制来解决相关上下文语
2020-08-19 10:51:49
494
原创 Win10使用Anaconda安装tensorflow-gpu==1.14.0
Win10 Anaconda安装TensorFlow-gpu1.确定自己的环境2.安装anaconda3.安装tensorflow-gpu4.安装CUDA Toolkit + cuDNN1.确定自己的环境tensorflow和python版本有对应关系，目前是使用我之前用的是python3.6，一定要注意自己的版本号，搞不清楚对应关系的，去这个博客看看tensorflow和pytho...
2020-03-26 09:52:25
4500
原创 论文学习-End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
1.传统方法和问题本文要解决的是序列标注的问题，可用于POS、NER等任务。大部分传统的高效模型是线性统计模型，包括HMM，CRF等。这些模型十分依赖手工标注特征，需要引入外部相关资源（名称库），普适性差。 导致序列标注模型很难去应用到新的标记任务上。近些年有一些非线性神经网络模型用词向量（Word Embedding）作为输入，颇为成功，但是如果仅依赖词向量，效果将变得很差。2.本文...
2020-02-25 21:47:52
1156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人