jin_tmac's studio

lightgbm建模，在其内置的比较少，如用于二分类的任务只有binary，最多再搭配class_weight来惩罚不同类别的损失函数。但我们可以自定义损失函数，只要损失函数可以求二阶导。

deepFM广泛应用于推荐等稀疏数据的场景，发现一个的三方库，用自有数据测试了下，但是数据集基本上都是连续数据，可能没有体现deepFM的优势。这个数据集的样本分布很均衡，比较容易训练，但最终效果auc不如树模型lgb，后续用其他数据集继续观察。

DeepFM延续了Wide&Deep的双模型组合的结构，改进之处就在于FM（因子分解机）替换了原来的Wide部分，加强浅层网络部分的特征组合能力。模型结构如下图所示（顶会发这么模糊的图有点不应该），左边的FM部分与右边的DNN共享相同的embedding层，左侧FM对不同特征域的Embedding进行两两交叉，也就是将Embedding向量当做FM中的特征隐向量。隐向量的做法，其实与矩阵分解用隐向量代表用户和物品的做法异曲同工，只是从单纯的用户、物品隐向量扩展到了所有特征上。此外，FM的二阶项可以通过。

学习Transformer按照这个图从左到右，从encoder 到decoder逐层解析，首先一个序列输入inputs经过embeding词嵌入之后，加上了Positional Encoding。这是因为Transformer完全基于self-attention机制，不同于RNN，模型并没有捕捉顺序序列的能力，也就是说无论句子的结构怎么打乱，Transformer都会得到类似的结果。这么设计的原因是考虑到在NLP任务中，除了单词的绝对位置，单词的相对位置也非常重要。的编码可以表示为位置。

先看官方文档torch.gather(input, dim, index, *, sparse_grad=False, out=None) → TensorGathers values along an axis specified by dim.For a 3-D tensor the output is specified by:out[i][j][k] = input[index[i][j][k]][j][k] # if dim == 0out[i][j][k] = input[i][in

以下是用Anaconda安装tensorflow遇到的一些坑。一：安装tensorflow安装Tensorflow时，需要从Anaconda仓库中下载，一般默认链接的都是国外镜像地址，这里用国内清华镜像，需要改一下链接镜像的地址。这里，打开Anaconda中Anaconda Prompt，然后输入：conda config --add channels https://mirrors.tun...