qqywm的博客

1. 对话管理1.1 多轮对话 多轮对话是相对于单轮对话而言的，单轮对话侧重于一问一答，即直接根据用户的问题给出精准的答案。问答更接近一个信息检索的过程，虽然也可能涉及简单的上下文处理，但通常是通过指代消解和 query 补全来完成的，而多轮对话侧重于需要维护一个用户目标状态的表示和一个决策过程来完成任务，具体来说就是用户带着明确的目的而来，希望得到满足特定限制条件的信息或服务，例如：订餐，订票，寻找音乐、电影或某种商品等。因为用户的需求可以比较复杂，可能需要分多轮进行陈述，用户也可能在对话过程中不断修

看上去是一个GAN的结构，在生成器的训练中，由于GAN模型在文本上的应用困难，因此，使用的是极大似然的方法。预训练结束后，在下游的应用上，去掉了生成器，仅使用判别器进行微调。生成器部分：softmax函数生成器的输入：生成器的输出：probs Tensor("generator_predictions/Softmax:0", shape=(128, 19, 30522), dt...

傅里叶变换是将函数分解到频率不同、幅值恒为1的单位圆上；拉普拉斯变换是将函数分解到频率幅值都在变化的圆上。因为拉普拉斯变换的基有两个变量，因此更灵活，适用范围更广。卷积定理：函数卷积的傅里叶变化是函数傅里叶变化的乘积，即对于函数f(t)与h(t)两者的卷积是其函数傅里叶变换乘积的逆变换：类比到Graph上并把傅里叶变换的定义带入，f与卷积核h在Graph上的卷积可以由下面步骤得到：...

神经机器翻译 之 谷歌 transformer 模型96 涛涛江水向坡流1.7 2018.08.06 19:09* 字数 2471 阅读 14639评论 7喜欢 26声明：转载请在标题标明转载，并添加原文链接。简介这篇博客的主要内容是对谷歌提出的transformer 进行论文解读，包含算法复杂度的分析。对应的论文是 “Attention is all you need", 链接如下 h...

https://blog.youkuaiyun.com/sdu_hao/article/details/88328024

论文 | Deep Reinforcement Learning for Mention-Ranking Coreference Models链接 | http://www.paperweekly.site/papers/1047源码 | https://github.com/clarkkev/deep-coref介绍本文出自斯坦福 NLP 组，发表在 EMNLP 2016，...

数据处理的格式如下：idx = 0：0-99,99-199,200-299,...........................idx = 1: 0-99idx = 2: 0-99 ....idx = 3: 0-99.......idx = 63:0-99,batch_size = 64,max_len = 100,输入：0，1，2，3，label:1,2...

方法抽象地看，我们要做的事情就是，给定一个矩阵，每行都进行左移，而移动的个数随行数递增而递减。我目前想到的一种方法是使用gather，将想要的index提前定好，然后使用Pytorch的gather就能够实现。而transformer-xl实现了另一种更好的方法：_rel_shift。 def _rel_shift(self, x, zero_triu=False...

分层强化学习：分层强化学习是强化学习领域中的一个分支。传统强化学习通过与环境的交互，进行试错（trial-and-error），从而不断优化策略（policy）。但是强化学习的一个重要不足就是维数灾难 (curse of dimensionality)，当系统状态（state）的维度增加时，需要训练的参数数量会随之进行指数增长，这会消耗大量的计算和存储资源。 分层强化学习将复杂问题分解成若...

指数分布族(exponential family)u(x)叫做充分统计量：对于要估计的参数 来说, 的似然函数仅仅依赖于u(x)要估计的参数熵用来代表“随机变量不确定性的程度”,也就是信息无序的程度,变量的不确定性越大,熵也就越大,搞清楚它所需要的信息量也就越大。当我们需要对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知的条件,而对未知的情况不要做...

bert代码模型部分的解读bert_config.josn 模型中参数的配置{"attention_probs_dropout_prob": 0.1, #乘法attention时，softmax后dropout概率 "hidden_act": "gelu", #激活函数 "hidden_dropout_prob": 0.1, #隐藏层dropout概率 "hidden_size"...

bert代码解读之中文命名实体识别中文ner Use google BERT to do CoNLL-2003 NER 数据处理部分：20864句话，train-0:tokenstokens:汉字inpu_ids:转换成词典中对应的idinput_mask:对应的mask，此处只是一句话，该句话处理成1，其他的不够128的长度的部分补0segment_ids:只有一...

https://www.cnblogs.com/nlp-yekai/p/3858705.html?utm_source=tuicool&utm_medium=referral算法 LDA Collapsed Gibbs Sampling输入：文档集(分词后)，K(主题数)，α，β，iter_number(迭代次数)输出：θ_mat(doc->topic)和 (topic-&...

二项分布二项分布的概率密度函数是Beta分布随机变量 服从参数为的Beta分布通常写作:.这个式子中分母的函数称为 beta函数Beta分布是二项式分布的共轭先验概率分布多项分布直观思考一下多项分布的极大似然估计,其实可想而知,就是数数 的个数,然后算一下占整个样本中的比例就可以作为 概率的估计了。所以通常在使用似然函数时,可以忽略其常数项—多项...

https://blog.youkuaiyun.com/wsj998689aa/article/details/39577011https://blog.youkuaiyun.com/brave_stone/article/details/80423784EM算法整理及其python实现https://blog.youkuaiyun.com/u010866505/article/details/77877345#_Toc49...

w~Mult(w|p)这里可以引入一个新的概念:概率图模型,来画出这种模型。如图 3-1所示,图中被涂色的 表示可观测变量,方框表示重复抽取的次数, 表示一篇文档中总共 个单词, 表示M篇文档。也就是说,重复抽取 篇文档,每个文档抽取 个单词,这样的生成模型生成了整个语料(corpus)。总结：这就是LDA的Collapsed Gibbs S...

https://blog.youkuaiyun.com/m0_37565948/article/details/85157694知识图谱—事件抽取及推理(上)https://mp.weixin.qq.com/s/xR_JFczYbxY0xuy7BYDc7g事件抽取及推理 (下)

https://blog.youkuaiyun.com/lei_chen/article/details/53168778

论文attention is all your needgithub：https://github.com/google-research/bert解读翻译：https://www.jiqizhixin.com/articles/2018-11-01-9     https://baijiahao.baidu.com/s?id=1616001262563114372&wfr=s...