My solution to cs224n assignment3

My solution

a primer on NER

  NER(Named entity recognition)命名实体识别是一种序列标注问题,
输入一个句子,输出一个标注的序列。

标注的种类有:
- Person (PER) (He or she are not considered named entities.)
- Organization (ORG)
- Location (LOC)
- Miscellaneous (MISC) (杂项)
- O(不是命名实体)

标注的评价指标:
  对于非空的标注,计算Recall, Precision, F1-score(如果直接计算全体标注正确率,会因为O比较多造成较大干扰)。

另外有entity-level评价指标:
  也就是说计算entitiy的Recall, Precision和F1-score的值,那么只有在一个词组全部标注对的时候,才算标注正确了这个entity。

更全面的刻画是confusion matrix,例如:

gold/guess PER ORG LOC MISC O
PER 2973 59 41 14 62
ORG 152 1648 94 62 136
LOC 57
### CS224N Assignment 1 中与 Word2Vec 相关的内容 在自然语言处理领域,Word2Vec 是一种用于生成词向量的技术。其核心思想在于通过上下文关系学习单词的分布式表示[^3]。具体而言,在给定中心词 \(c\) 和周围窗口大小的情况下,目标是从语料库中预测周围的“外部词”。这种技术通常被实现为两种模型:Skip-gram 和 CBOW。 #### 资源推荐 对于 CS224N 的 Assignment 1,官方文档和讲义提供了详细的指导材料。以下是关于如何完成 Word2Vec 部分的一些提示: 1. **理论基础** 学习 Word2Vec 的基本原理可以从 Dan Jurafsky 和 James H. Martin 合著的《Speech and Language Processing》第三版草稿入手[^4]。该书详细介绍了神经网络模型及其应用背景。 2. **实践指南** 官方作业文件会提供 Python 实现框架以及数据集准备方法。重点理解负采样(Negative Sampling)、Softmax 函数优化等内容。以下是一个简单的 Skip-gram 模型实现示例: ```python import torch import torch.nn as nn import torch.optim as optim class SkipGramModel(nn.Module): def __init__(self, vocab_size, embedding_dim): super(SkipGramModel, self).__init__() self.embeddings = nn.Embedding(vocab_size, embedding_dim) def forward(self, target_word_indices): embeds = self.embeddings(target_word_indices) return embeds # Example usage vocab_size = 10000 embedding_dim = 100 model = SkipGramModel(vocab_size, embedding_dim) loss_function = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 上述代码片段展示了如何定义一个基于 PyTorch 的嵌入层并计算损失函数3. **调试技巧** 如果遇到收敛速度慢或者结果不理想的情况,可以尝试调整超参数如批量大小、学习率等;另外也可以引入更高效的梯度下降算法比如 Adam 或 RMSProp 来加速训练过程。 #### 注意事项 务必仔细阅读每一步的要求说明,并按照指定格式提交最终成果。此外,建议多查阅论坛上的讨论帖以获取额外的帮助和支持[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值