ELMo, Embeddings from Language Models
知识点
- NNLM
- 使用了语言模型的框架，使用了深度学习。
layer1 : Word features
layer2 : Syntactic features
layer3 : Semantic features
E ( w o r d ) = α 1 E ( w o r d ) + α 2 E ( w o r d ) ( 1 ) + α 3 E ( w o r d ) 2 E(word) = \alpha_1E(word)+\alpha_2E(word)^{(1)}+\alpha_3E(word)^{2} E(word)=α1E(word)+α2E(word)(1)+α3E(word)2
其中， α 1 + α 2 + α 3 = 1 \alpha_1+\alpha_2+\alpha_3=1 α1+α2+α3=1。
扫一扫
434
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
