t_zht的博客

1、训练词向量的时候 输入A 预测A的下一个词是什么，如果词表特别大的话，达到5000的话，那么相当于一个5万分类的任务，所以可以将其改变输入AB两个词，预测B是A词下一个词的概率。因为语料中所有的上下文中的输出标签都是1，所以要自己构造target为0 的输入样例，其实，这就是负采样的原理。word2vector是无监督的，所以也不用自己打标签times 2、LSTM 读数据---每个词转...

白话白话transformer 1、attention的计算方法 每个词去计算与其他词的关系 经过attention之后每个词的向量不再是单单它本身的，还包括其上下文的。一个矩阵乘法就做完了，所以是并行的 2、multi-head 也就是self-attention做了多次，一组QKV是一个特征的表达，用多头提取不同的特征表达 将所有的特征表达进行拼接 ，然后用全连接矩阵进行降...

补习一下功课：迁移学习 迁移学习：知识迁移（knowledge transfer）是一个不错的选择，即把B领域中的知识迁移到A领域中来，提高A领域分类效果，不需要花大量时间去标注A领域数据。 迁移学习领域有三个研究问题：（1）迁移什么；（2）如何迁移；（3）什么时候迁移 2、转导学习与推导学习区别 推到学习：需要先用一些样本（training set）建立一个模型，再基于建立好的模型去去预测...

 INTRODUCTION 本文的目的是在研究自杀者关于自杀在推特上交流的时间模式   MATERIALS AND METHODS 数据收集和预处理 利用自杀相关的短语词汇到推特上爬取数据，然后去除停用词，爬去的数据包括，推特ID，userID, 发布时间，推特文本 发现自杀相关的主题 通过主题建模捕捉与自杀相关的语义主题的一些有趣事实，通过NFM找到。首先，利用与自杀有关的推特发现...

在pycharm中运行程序，如下代码所示 import tensorflow as tf a = tf.constant(5, name="input_a") b = tf.constant(3, name="input_b") c = tf.multiply(a, b, name="mul_c") d = tf.add(a, b, name="add_d") e = tf.add(c, d...

1：准备数据：务必保证有大量、高质量并且带有干净标签的数据，没有如此的数据，学习是不可能的 2：预处理：这个不多说，就是0均值和1方差化 3：minibatch：建议值128,1最好，但是效率不高，但是千万不要用过大的数值，否则很容易过拟合 4：梯度归一化：其实就是计算出来梯度之后，要除以minibatch的数量。这个不多解释 5：下面主要集中说下学习率 5.1：总的来说是用一个一般的学...