m0_38024592的博客

Contextual Word Embeddings

1.人类语言的声音：语音和语音学语音是声音流–毫无争议的“物理” 语音学假设一小部分或几组独特的类别单元：音素或独特特征 也许是普遍的类型学，但特定语言的实现 类别感知的最佳证据来自语音学 音素内差异缩小；音素间放大 形态：词的一部分传统上，我们把语素作为最小的语义单元 [[un [[fortun（e）] ROOT ate] STEM] STEM ly] WORD 深度学习：形态学研究很少； 一次尝试递归神经网络是（Luong，Socher，＆Manning 2013）&

1. 复习：word2vec的主要思想遍历整个语料库的每个单词 使用单词向量预测周围的单词更新向量，以便您可以很好地预测Word2vec参数和计算每个位置的预测相同我们希望有一个模型，可以对上下文中出现的所有单词（相当经常）给出合理的高概率估计Word2vec通过在空间中放置相似的单词来最大化目标函数2. 优化：梯度下降我们有一个要最小化的成本函数J(θ) 梯度下降是最小化J(θ)的算法 想法：对于θ的当前值，计算J(θ)的梯度，然后朝负梯度的方向走一.

文章目录lecture plan1.how do we represent the meaning of a word?1.1 wordnet1.2 representing words by their context1.3 distributional semantics2. word2vec : overviewlecture plan1.how do we represent the meaning of a word?1.1 wordnet建立所有同义词synonym和下义词hype

Problems with this discrete representation -- 离散表示的问题 一个基本的问题是：几乎所有nlp的研究都用了原子符号来表示单词。So, the fundamental thing to note is that for sorta(近似、可以说是) just about all NLP, apart from(除了) both moder...