ziuno的博客

torch随机状态恢复不一致的问题

强化学习入门—超级马里奥对象抽取：马里奥、金币、板栗仔（蘑菇怪）术语智能体-Agent：马里奥状态（S或s）-State：当前游戏画面动作（A或a）-Action：智能体（马里奥）的，左、右、跳（简化）策略-Policy：根据状态，决定该采取的动作奖励（R或r）-Reward：执行动作后，游戏给予奖励，例如吃金币加分轨迹-Trajectory：包括每一步的状态、动作、奖励。智能体循环该过程：根据状态s，采取策略，执行动作a，获得奖励r，状态变化。策略-PolicyPol

注意在pl.LightningModule中，不可以使用spaCy进行分词等操作，否则会报错1. 在forward过程中使用...File "spacy/pipeline/trainable_pipe.pyx", line 75, in spacy.pipeline.trainable_pipe.TrainablePipe.pipe...可能由于pl框架内自动对模型内所有对象进行了状态转换，使其全部尽可能变为可训练对象，同样的，使原本的Pipe也转换为TrainablePipe，会报错，其中有

PaperHopRetriever: Retrieve Hops over Wikipedia to Answer Complex Questions.DefinationSymbolFunctionRetriever依据检索模块Reader答案抽取模块qqq问题KKK知识Dp=D_p=Dp​=Retriever(q,K)(q, K)(q,K)用于回答问题qqq的多个文档a=a=a=Reader(q,Dq)(q,D_q)(q,Dq​)答

AllenNLP—json&命令行&自定义模型—对应关系dirpackage_name_fatherpackage_name_child__init__.pymodel.pyjsonjson{ "type": "model-name"}model.pyfrom allennlp import AllenNLPClass@AllenNLPClass.regester("model-name")class ModelClass(AllenNLPCl

解决方法（任选一个）implemented using pytorch模型继承Module，每次输入LSTM一个词向量，生成的state信息用list存储，结果取最后[-1]，缺点是效率较低，需要存储过多无用信息（即不覆盖之前生成的hidden和cell）模型继承Function，定义一个层，把LSTM看作一个函数，forward中累计保存对w和x等变量的梯度，可以避免存储无用的信息，backward中直接返回相应的梯度（直接实现函数Function，手动求导，可以无视是否覆盖已生成的变量）

TokenEmbedder—自定义Embedderclass GloVeEmbedding(TokenEmbedder):function与Embedding用法相同，代码是完全照着Embedding写的word vector将word分成单个char，char vector=sum(vector)/counter(char)：词向量和/字符出现次数原Embedding实现中，权重是随机的，对于GloVe中有的词，才替换成GloVe中的词向量，对于没有的词，还是原来的随机的GloVeEmbed

有维护榜单榜top1 模型em(exact match)f1accmrrscoreGrailQAOverallReTraCk58.13665.285-Compositional GeneralizationReTraCk61.49970.911-Zero-shot GeneralizationArcaneQ49.96458.844PubMedQA-Baseline Model52.7268.08

NLP-调研会议EACL7^{7}7: 2020/10/7ACL1−A^{1-A}1−A: 2021/1/25ICML3−A^{3-A}3−A: 2021/1/28SIGIRA^{A}A: 2021/1/28IJCAI10−A^{10-A}10−A: 2021/1/13EMNLP2−B^{2-B}2−B: 2021/5/10NeurIPS2−A^{2-A}2−A: 2021/5/19linkGoogleScholarRank−CCFRank^{GoogleScholarRank-CC

SpellCorrection# 词典库vocab = set([line.rstrip() for line in open('vocab.txt')])# 需要生成所有候选集合def generate_candidates(word): """ word: 给定的输入（错误的输入） 返回所有(valid)候选集合 """ # 生成编辑距离为...

Project1Part 1: 搭建一个分词工具Part 1.1 基于枚举方法来搭建中文分词工具此项目需要的数据：综合类中文词库.xlsx： 包含了中文词，当做词典来用以变量的方式提供了部分unigram概率 word_prob举个例子： 给定词典=[我们 学习 人工 智能 人工智能 未来 是]， 另外我们给定unigram概率：p(我们)=0.25, p(学习)=0.15, ...

NLP模型笔记 — 分布式表示 [总结]概念名称分布式表示别名Distributed representation介绍若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量。原理非分布式表示图形水平矩形垂直矩形水平椭圆垂直椭圆水平矩形1000垂直矩形0100水平椭圆0...

NLP模型笔记 — 独热编码 [总结]P.S.

NLP模型 笔记目录独热编码分布式表示深度学习基础语言模型HMMMLPSkipGramCBOW层次表示RNNNNLMDensity EstimationNADEGRULSTMBI-LSTMDeep BI-LSTMSeq2SeqELMoDAEAutoEncoderAttentionSelf-AttentionTransformerBERTXLN...