hyzhyzhyz12345的博客

2018年3月份提出ELMo（Embedding from Language models），模型通过对不同句子创建不同的词向量，进行动态调整，解决了之前工作2013年的word2vec及2014年的GloVe的多义词问题，可以称之为静态词向量。模型经过大量语料库预训练好之后 （context—before预测当前字，context—after预测当前字，而且不是同时的），使用预训练时，将任务实际...

word representation从离散空间开始，one-hot，bag-of-words（将各词的one-hot词向量加和表示句子），TF-IDF（解决了词频高不一定是词重要，“的” “了” “要”，这些词很常见，但不是重要，另外词的顺序没有考虑），N-gram（按句子的顺序，分别取相邻N=1个词，N=2个词。。。建立索引） 离散表示的问题：1无法衡量词向量之间的关系，2词表维度随着语料库增...