cs224n - class 2 Glove

最新推荐文章于 2022-04-16 19:25:58 发布
原创 最新推荐文章于 2022-04-16 19:25:58 发布 · 158 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了Glove（Global Vectors for Word Representation）模型，这是一种用于词向量表示的方法，旨在捕捉词汇间的上下文关系。Glove通过优化目标函数来学习词向量，这些向量能够体现单词间的共现频率。讲解中引用了多个资料来源，包括斯坦福大学的课程讲义和视频教程，详细阐述了Glove的数学原理和实际应用。

借鉴：
https://zhuanlan.zhihu.com/p/60208480
http://web.stanford.edu/class/cs224n/slides/cs224n-2020-lecture02-wordvecs2.pdf
https://www.bilibili.com/video/BV1pt411h7aT?p=3
https://www.bilibili.com/video/BV1mb411e769?p=2
https://nlp.stanford.edu/pubs/glove.pdf

Glove

  1. objective function
    在这里插入图片描述
    interpretation：
    嗯，见纸质笔记3. Glove，这节电子笔记先挖个坑，回来填~
cs224n-2022-assignment1
rd142857的博客
06-27 308
用共现矩阵M（ MabM_{ab}Mab​ ：词a在词b上下窗口大小内出现的次数）获得词向量。由于共现矩阵维数过高，采用SVD（事实上是Truncated SVD，以保留最小的几个奇异值）进行降维投影，获得词嵌入并正则化。 计算固定窗口大小的共现矩阵 ****将共现矩阵（N×N）降维到Truncated SVD（N×2），也就是将N维词向量投影到二维空间，形成二维词嵌 运行 分析共现矩阵计算共现矩阵，通过SVD获得二维词嵌入，正则化词嵌入用GloVe生成词向量并探索。探究了多义词、近义词反义词、
cs224n 2024春 课后作业a1
m0_73283325的博客
05-03 1352
第一个版本中窗口的处理是通过两次遍历实现的，第一次确定中心词的索引，第二次遍历窗口中的其他词。第二个版本中窗口的处理更加直接，通过计算窗口的起始和结束位置一次完成，这可能在理解上更直观，尤其是在处理文档边界时。第二个版本使用了字典推导来创建。函数合并列表，这个操作在大规模数据上比较耗时。列表推导式直接在遍历过程中进行去重，减少了中间步骤。第二个通过一个列表推导式直接完成了扁平化和去重的过程，在性能上略有优势，避免了使用。，并且窗口的处理逻辑更紧凑。
理解Word2Vec模型
qq_48081868的博客
09-29 1787
Word2Vec的理解首言总结 首言 你好，我是Wumbuk。最近有看有关于NLP相关知识，所以利用CSDN简单记录一下Word2Vec方法。Word2Vec方法是用来产生词向量相关模型的一种方法，在进行自然语言处理的时候，我们不可能将词语以本来的形式输入到神经网络的系统中，而是将每一个词都用多维向量表示，同时呢保证该向量的表示方法可以明确地表示出各种不同词之间的关系和预测。 Word2Vec方法通过学习文本来用词向量的方式来表征词的语义信息，通过一个嵌入空间表示不同语义的单词。两个词之间的语义愈相近，它们
CS224N-Notes02-GloVe, Evaluation and Training
MiaLove
07-17 266
CS224n：Natural Language Precessing with Deep Learning Lecture Notes:Part 1 Authors: Francois Chaubard etc. This set of notes first introduces the GloVe model for training word vectors. Then it extends...
【干货笔记】CS224n-2019 学习笔记 Lecture 01 Introduction and Word Vectors
zenRRan的博客
02-12 774
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要33分钟跟随小博主，每天进步一丢丢机器学习算法与自然语言处理出品@公众号原创作者 徐啸学校 |哈工大SCIR直博推免生Lectur...
【CS224n-2】Word Vectors II: GloVe, Evaluation and Training
u011613991的专栏
03-08 281
1.GloVe 根据第一讲的内容，我们已经了解了查找词嵌入的两种主要方法。第一种是基于计数的，依赖于矩阵因子化(如LSA, HAL)。虽然这些方法有效地利用了全局统计信息，但它们主要用于捕获单词相似性，而在单词类比、确定次优向量空间结构等任务中表现不佳。另一种方法是基于浅窗口的(例如，skipg -gram和CBOW mod- els)，它通过在本地上下文窗口进行预测来学习单词嵌...
【cs224n-9】ConvNets for NLP
u011613991的专栏
05-10 241
Why CNNs? 之前的RNN系统中（不利用Attention的情况下），通常我们用最后的hidden vector来表示整个句子的所有信息，这就造成了信息的瓶颈。而CNN处理的思路是对于所有的子短语，都计算一个特征向量，最后再根据具体的任务将它们结合在一起。 卷积神经网络接收词向量的序列，并首先为所有子短语创建短语向量，而不仅仅是语法正确的短语。然后，CNNs将他们分组完成手头的任务。 What is Convolution? 对于一维向量 f 和 g ，它们在位置i的卷积...
CS224n-03 Advanced Word Vector Representations
Thinking data
03-16 314
03 Advanced Word Vector Representations
2022-CS224n-Assignment1-exploring_word_vectors
weixin_51154479的博客
04-16 883
CS224N Assignment 1: Exploring Word Vectors Part 1: Count-Based Word Vectors Question 1.1: Implement distinct_words 思路： corpus_words: 语料库中不同单词经过排序后的列表 1.根据提示使用列表推导将语料库中所有单词放入;corpus_words列表, 也可用双重for循环, 但速度会不如列表推导; 2.使用函数set()的特性, 进行一个去重操作, 注意前加list()， 转换
CS224n-04 Word Window Classification and Neural Networks
Thinking data
03-17 795
04 Word Window Classification and Neural Networks
《CS224n斯坦福课程》-----第一部分的大作业
赵小越的博客
12-13 1391
         看到简化版的题目，我觉得我就像一个脑残，根本看不懂，只有看到原题目，我才知道要做啥。我现在把原题目贴出来，然后一一的解答。         题目意思： (a) 证明softmax函数的一个性质，在输入中存在偏移，但softmax的值是不随着偏移而改变。在实践中，我们认为这个偏移值一般是输入中的最大值。 (b) 给出输入矩阵，N行D列，然后计算每行的softmax函数值，最...
CS224N NLP
exu131g的博客
03-01 1116
文章目录AbbreviationLecture 1 - Introduction and Word VectorsNLPWord2vecUse two vector in one word: centor word context word.softmax functionTrain the model: gradient descentShow some achievement with code(5640-h0516)QALecture 2 Word Vectors,Word Senses,and Ne
Transformer-decoder-only model：GPT-2（1）
DecafTea的博客
01-15 8693
Transformer Encoder 原始 transformer 论文中的编码器模块可以接受长度不超过最大序列长度（如 512 个单词）的输入。如果序列长度小于该限制，我们就在其后填入预先定义的空白单词（如上图中的）。 Decoder 解码器在自注意力（self-attention）层上还有一个关键的差异：它将后面的单词掩盖掉了。但并不像 BERT 一样将它们替换成特殊定义的单词，而是在自注意力计算的时候屏蔽了来自当前计算位置右边所有单词的信息。只能看到已生成的单词。 举个例子，如果我们重点
Transformer 权重共享
DecafTea的博客
01-25 6557
转载自：https://zhuanlan.zhihu.com/p/132554155 Transformer在哪里做了权重共享，为什么可以做权重共享？ Transformer在两个地方进行了权重共享： （1）Encoder和Decoder间的Embedding层权重共享； （2）Decoder中Embedding层和FC层权重共享。 对于（1），《Attention is all you need》中Transformer被应用在机器翻译任务中，源语言和目标语言是不一样的，但它们可以共用一张大词表，对于两种
BERT分词，wordpiece，BPE，jieba，pkuseg
DecafTea的博客
03-08 5483
BERT分词 摘自： https://blog.csdn.net/u010099080/article/details/102587954 BERT 源码中 tokenization.py 就是预处理进行分词的程序，主要有两个分词器：BasicTokenizer 和 WordpieceTokenizer，另外一个 FullTokenizer 是这两个的结合：先进行 BasicTokenizer 得到一个分得比较粗的 token 列表，然后再对每个 token 进行一次 WordpieceTokenizer，
LSTM为什么用sigmoid，tanh不用relu？
DecafTea的博客
01-25 4798
https://cloud.tencent.com/developer/article/1498959 1. why is an activation function not being zero-centred an disadvantage? Say there are two parameters w1 and w2. If the gradients of two dimensions are always of the same sign, it means we can only move r
GPT-2（2）
DecafTea的博客
01-15 2965
本文是机器之心：完全图解GPT-2：看完这篇就够了（二）的梳理总结。第三部分：GPT-2全流程是本文的核心重点。 1. 自注意力机制（不使用掩模） 2. 图解掩模自注意力机制：使用注意力掩模矩阵 我们通常使用注意力掩模矩阵来实现这种屏蔽操作。不妨想象一个由四个单词组成的序列（例如「robot must obey orders」（机器人必须服从命令））在语言建模场景中，这个序列被分成四步进行处理——每个单词一步（假设现在每个单词（word）都是一个词（token））。由于这些模型都是批量执行的，我们
图数据库 vs sql数据库 优缺点
DecafTea的博客
01-25 2727
预训练语言模型
DecafTea的博客
01-22 2481
『预训练语言模型分类 』 单向特征、自回归模型（单向模型）： ELMO/ULMFiT/SiATL/GPT1.0/GPT2.0 双向特征、自编码模型（BERT系列模型）： BERT/ERNIE/SpanBERT/RoBERTa 双向特征、自回归模型“ XLNet 『各模型之间的联系 』 传统word2vec无法解决一词多义，语义信息不够丰富，诞生了ELMO ELMO以lstm堆积，串行且提取特征能力不够，诞生了GPT GPT 虽然用transformer堆积，但是是单向的，诞生了BERT BERT虽然双向，但
cs224n 课后习题 2025
最新发布
03-29
目前尚未有具体关于CS224N 2025年课程的信息公开，因为该时间点仍在未来[^1]。通常情况下，斯坦福大学的CS224N课程会提供一系列作业题目，这些题目主要围绕自然语言处理与深度学习的核心概念展开。以往的作业可能涉及神经网络模型的设计、实现以及评估，例如使用PyTorch框架完成特定任务。 以下是典型的CS224N作业主题示例： ### 常见CS224N作业主题 #### 词嵌入的应用 学生被要求训练自己的词向量并分析其特性。 ```python import torch # 示例代码片段用于加载预训练好的GloVe词向量 glove_vectors = {} with open('glove.6B.50d.txt', 'r') as f: for line in f: values = line.split() word = values[0] vector = torch.tensor([float(val) for val in values[1:]]) glove_vectors[word] = vector ``` #### 文本分类器构建 通过搭建简单的循环神经网络（RNN），解决情感分类等问题。 ```python class SimpleRNN(torch.nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.rnn = torch.nn.RNN(input_size, hidden_size, batch_first=True) self.fc = torch.nn.Linear(hidden_size, output_size) def forward(self, x): out, _ = self.rnn(x) out = self.fc(out[:, -1, :]) return out ``` 对于未来的CS224N 2025课程材料，建议关注官方课程网站或者联系授课教师获取最新动态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值