qq_39412443的博客

目录原理部分代码代码注意点 原理部分 为了通过前面的词预测后一个词。对于一个结构固定的模型来说，要求每个batch的输入数据的长度要一致 将索引表示的词，转化为向量表示，作为输入层，将前面词的向量拼接才一起作为输入向量，经过一个权值矩阵后，使用tanh作为激活函数，得到隐藏层中前面词的向量表示。 将隐藏层作为输入，同时也将输入层作为输入（注意点，也就是图上的绿色虚线），分别经过两个权值矩阵后相加得到输出层 代码 import torch import torch.nn as nn import tor

目录词相似度的两种假设相似语境假设共现次数多假设小结 词相似度的两种假设 具有相似语境的两个词的含义相似,也就是两个词可以相互套到某段上下文中,而意思相差不大 共现次数多的两个词的含义相似,某两个词经常一起出现,那么他们很相似 相似语境假设 \quad原始的one-hot类型的词向量编码方式,词向量之间正交,无法度量相似度,也就无法表征单词的含义了.所以引入了分布式的词向量表示方式.词往往能够通过观察它适用的一些语境,从而猜测出大概的意思.就像英语阅读中,通过上下文来猜词的意思.因此对分布式表示的一种理

时序模型 非时序类数据：图片，人的特征。使用数据时维度固定，时间维度固定 时序类数据：股票价格，价格波动，前后相关；语音；文本；时序数据的长度是不固定的 模型：HMM/CRF --> RNN/LSTM HMM(Hidden Markov Model) 每个时刻的观测值x，latend variable隐式变量z作为状态，在进行转移，有向图，生成模型 场景举例：A/B两枚硬币，正面概率分别为μ1\mu_{1}μ1​,μ2\mu_{2}μ2​。小明在幕后扔，我在前面观察结果。 想知道的问题： 预测背

信息抽取 information extraction（IE） 信息抽取概要 从非结构化数据，也就是需要进一步处理的数据，如图片，文本，video，音频。进一步处理转化为可以用于建模的feature。结构化数据可以存入到数据库中进行管理 主要从文本中进行信息的抽取 抽取实体（entities） 现实中存在的事物，各个领域有专属的实体。 医疗领域：蛋白质，疾病，药物。。。 金融领域：申请人，表单，公司，地址。。。 各个领域关注的实体内容不同，开源的NER的方法很难应用到垂直领域中 抽取关系（relations