qq_45812220的博客

最近刚学习。NNLM网络在训练过程中为每个单词生成了一个词向量，但从表示每个单词语义信息的的角度来说，生成质量不佳，于是有了后来的word2vec，转么学习高质量的词向量表示。.4f.4f可以发现，word2vec网络更简洁了。

可以看到，nn.RNN默认会输出两个张量：一个是最后一个时间步的所有层，一个是最后一层的所有时间步。它是不会输出“所有时间步的所有层”的。

可以看到，每一次把输入送入RNNCell的过程，就是把输入部分和隐藏状态部分分别经过简单全连接层，并接上激活函数的过程。pytorch RNNCell的一次前馈本质上就是一个线性层。

原理。

repeat和都可以用于在张量的某个维度上进行扩展，但适用的场景略有不同。选择哪个函数取决于你想要的复制粒度：块级 还是 行/元素级。

requires_grad大家都挺熟悉的，因此穿插在retain_grad的例子里进行捎带讲解就行。属性并不会在反向传播的过程中被自动保存下来（这是为了节省内存，毕竟我们只需要计算那些手动设置。的张量的梯度，并进行梯度更新，对吧？警告的大致意思是：访问了非叶子节点的。的梯度也在反向传播以后被正确保存了！因此，我们只需要添加一行代码。可以看到，现在非叶子节点。属性，但非叶子节点的。

detach生成原始张量的view而不保留计算图；clone生成的张量附带计算图，计算该张量的梯度时，梯度会回传到原始张量。但clone张量不是原张量的view。另外，可以对clone张量的值进行局部修改，但局部修改以后，梯度更新时，该处的梯度不会回传。

在此记录完整代码，以后有空也许会讲解。

注：笔者的糖尿病数据集有问题，使用了sklearn中的乳腺癌数据集，因此部分参数与老师有差异。此外，原乳腺癌数据集第一行含有字符串，此处的。这一章我们要利用data和dataloader来mini-batch（之前是batch）里的迭代数，也就是batch/batch-size。已将第一行去掉，为另一个新建文件。设置为0比设置为2更快。

考虑到我的糖尿病数据集有一些问题，标签不是0和1而是许多小数，这里直接采用代码中目录所示的乳腺癌数据集进行实验。以后有空也许会更新讲解，急用代码的小伙伴可以先拿去跑。由于乳腺癌数据集有30个特征，这里设计。

选择IDE为pycharm，文中y_hat表示预测值案例如下:已知x=1时，y为2；x=2时，y为4；x=3时，y为6，现利用线性模型（不含偏置量，仅包含斜率参数，即y_hat=w*x）预测x=4时y的值。