暖树的博客

window：window因为采用的doc系统中使用了' / '，所以文件路径默认使用了' \ '。在处理window数据时如果采用 ‘ \ ’连接，最好在字符串前加 ‘r’，以此来避免转义字符出现，linux：使用 ' / '连接即可，例如 /home/uan/test.txt。../../ 父目录的父目录。更好的写法,使用 '/'进行连接。或者使用os中的join进行连接。./ 当前目录下。../ 父目录。

P表示样本的真实分布，Q表示模型所预测的分布，那么KL散度就可以计算两个分布的差异，也就是Loss损失值。Q的分布越接近P（Q分布越拟合P），那么散度值越小，即损失值越小。有时会将KL散度称为KL距离，但它并不满足距离的性质：不对称；不满足三角不等式。...

当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用，因为要等待很长一段时间。

PyTorch中对于数据集的处理有三个非常重要的类：、、，它们均是 包下的模块（类）。它们的关系可以这样理解：总的来说，定义了整个数据集，提供了取数据的机制，最后由取完成取数据的任务。本篇以一个最简单的例子为例，比如有一个文件夹（data-folder）中存储训练的数据（一共30张图片：0.png 到 29.png），他们对应的标签被写在了一个labels.txt文件中，第n行对应n-1.png的标签，是一个三分类问题，即0、1和2三种标签（虚构的数据集，不具有任何意义）。目录结构如下：另一个

文本生成目前的一大瓶颈是如何客观，准确的评价机器生成文本的质量。一个好的评价指标（或者设置合理的损失函数）不仅能够高效的指导模型拟合数据分布，还能够客观的让人评估文本生成模型的质量，从而进一步推动text generation 商业化能力。然而由于语言天生的复杂性和目前技术限制，我们目前还没有一个完美的评价指标。本文就三方面对文本生成的评价指标介绍： 介绍了以BLEU为代表的基于统计的文本评价指标 就 data to text 和 image caption 进一步介绍了其特有的评价

git将本地代码同步备份至github git initgit remote add origin git@github.com:git add.git commit -m 'test'git push 第一个问题：warning: push.default is unset; its implicit value is changing inGit 2.0 from 'matching'...

import osos.environ['CUDA_VISIBLE_DEVICES'] = '1'要放在 import torch 的前面TensorFlow 同理

输出是一个元组类型的数据 ，包含四部分，last hidden stateshape是(batch_size, sequence_length, hidden_size)，hidden_size=768,它是模型最后一层输出的隐藏状态pooler_output：shape是(batch_size, hidden_size)，这是序列的第一个token(classification token)的最后一层的隐藏状态，它是由线性层和Tanh激活函数进一步处理的，这个输出不是对输入的语义内容的一个很好的.

文件->首选项->设置->搜索Python language server, 选项修改为pylint

allennlp=1.1.0rc3 可以匹配 torch=1.6.0 allennlp=1.0.0rc1 可以匹配 torch=1.3.1 allennlp=0.9.0 可以匹配 torch=1.2.0

https://mp.weixin.qq.com/s/8I61m3UAA-QaWId6OpLGjw 新手炼丹技巧

Query，Key，Value的概念取自于信息检索系统，举个简单的搜索的例子来说。当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服）时，你在搜索引擎上输入的内容便是Query，然后搜索引擎根据Query为你匹配Key（例如商品的种类，颜色，描述等），然后根据Query和Key的相似度得到匹配的内容（Value)。我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。1）将预测结果.

https://www.jianshu.com/p/45a26d278473本文主要介绍PyTorch中的nn.Conv1d和nn.Conv2d方法，并给出相应代码示例，加深理解。一维卷积nn.Conv1d一般来说，一维卷积nn.Conv1d用于文本数据，只对宽度进行卷积，对高度不卷积。通常，输入大小为word_embedding_dim * max_length，其中，word_embedding_dim为词向量的维度，max_length为句子的最大长度。卷积核窗口在句子长度的方向上滑动，进

原因：IE的安全设定问题解决方法：win+s搜索Internet选项 -> 安全 -> 自定义级别 -> 其他 -> 加载应用程序和不安全文件 -> 提示(推荐)上面的勾选上 然后点确定 -> 确定就搞定了。...