Raki_J的博客

task1logistic回归的公式？softmax和logistic的异同点？logistic函数的缺点softmax的特点解释下bag of words 和 n-gram，有什么缺陷交叉熵损失的作用，为什么不选择最小均方误差或者绝对值误差？task2RNN，LSTM，GRU的结构，为什么可以缓解长程依赖问题？word embedding？Word2Vec，GloVe，还知道其他的词表征方式吗？（textrank，tf-idf，LSA，pLSA，ELMo，GPT，fastText，

先丢个demo就跑modelimport numpy as npimport torchimport torch.nn as nnfrom torch.nn.utils.rnn import pad_packed_sequence, pack_padded_sequenceclass LSTM(nn.Module): def __init__(self, vocab_size, embed_size, hidden_size=128, dropout_rate=0.2, layer_n

实现基于logistic/softmax regression的文本分类文本特征表示方法一：Bag of Wordsimport numpy as npclass BagofWords: def __init__(self, do_lower_case=False): self.vocab = {} #建立一个词表 self.do_lower_case = do_lower_case def fit_transform(self, sent_list

任务二：基于深度学习的文本分类熟悉Pytorch，用Pytorch重写《任务一》，实现CNN、RNN的文本分类；参考https://pytorch.org/Convolutional Neural Networks for Sentence Classification https://arxiv.org/abs/1408.5882https://machinelearningmastery.com/sequence-classification-lstm-recurrent-neural-

任务三：基于注意力机制的文本匹配输入两个句子判断，判断它们之间的关系。参考ESIM（可以只用LSTM，忽略Tree-LSTM），用双向的注意力机制实现。参考《神经网络与深度学习》 第7章Reasoning about Entailment with Neural Attention https://arxiv.org/pdf/1509.06664v1.pdfEnhanced LSTM for Natural Language Inference https://arxiv.org/pdf/16

LSTM+CRF正确版本