myaijarvis notebook

在当前用户目录下创建pip目录，即C:\Users\xxx\pip\ (xxx指代用户名)，在pip目录下创建pip.ini文件，文件内容如下。torchvision和torchaudio可以根据需要再安装，一般是用不上的。技巧：下载的时候复制链接到IDM，然后IDM下载过程中速度会波动，将cudnn解压，将bin、include、lib复制和替换到。建议：后续也可以把这三个包单独下载下来，使用pip分别安装。双击下载好的cuda****.exe。下载对应的cuda并安装。但下载很容易断，所以请看。

【参考：The size of tensor a must match the size of tensor b (y) at non-singleton dimension z_点PY的博客-优快云博客】报错：The size of tensor a (x) must match the size of tensor b (y) at non-singleton dimension z其广播机制遵循以下规则：以数组A和数组B的相加为例, 其余数学运算同理核心:如果相加的两个数组的shape不同,

有三个标签[0, 1, 2]，即三个类别。现在知道两个样本（A 和 B）所得到的三个标签的概率分别为[0.1, 0.3, 0.6]和[0.3, 0.2, 0.5], 用my_pred表示， 这两个样本的真实标签分别为0和2， 那么我们很容易知道A所预测的真实标签的概率为0.1， B所预测的真实标签的概率为0.5，A分类错误，B正确分类。那么用程序这么获得标签对应的概率呢，这里就可以用gather函数。引言：在多分类中，torch.gather常用来取出标签所对应的概率。用二维tensor举例。

必看：【参考：【论文笔记】：Convolutional Neural Networks for Sentence Classification用CNN做句子分类 - 小千同学超级爱写代码 - 博客园】【参考：卷积在NLP领域的应用–以TextCNN为例_哔哩哔哩_bilibili】【参考：论文阅读：Convolutional Neural Networks for Sentence Classification 卷积神经网络的句子分类_南有芙蕖-优快云博客】【参考：TextCNN天池授课_哔哩哔哩_bil

《A Neural Probabilistic Language Model》其中双曲正切 tanh 逐个元素地应用，W 可选为零（无直接连接），x 是词特征层激活向量，它是来自矩阵 C 的输入词特征的串联：【参考：graykode/nlp-tutorial: Natural Language Processing Tutorial for Deep Learning Researchers】【参考：Neural Network Language Model PyTorch实现_哔哩哔哩_bilibili

【参考：一个函数打天下，einsum - 知乎】【参考：Machine-Learning-Collection/transformer_from_scratch.py at master · aladdinpersson/Machine-Learning-Collection】理解Transformer【参考：Pytorch Transformers from Scratch (Attention is all you need) - YouTube】【参考：Machine-Learning-Col

【参考：Seq2Seq 机器翻译, 全程手写代码_哔哩哔哩_bilibili】【参考：shouxieai/seq2seq_translation: seq2seq_translation】代码总结训练Seq2Seq就相当于用decoder接一个全连接层做多分类，而预测的时候则需要先输入一个字符进行预测，然后把这个预测输出的字符作为下一次的输出。

【参考：pytorch中collate_fn函数的使用&如何向collate_fn函数传参_XJTU-Qidong的博客-优快云博客】collate_fnclass MyDataset(Dataset): def __init__(self, datas, tags, word2idx, tag2idx): self.datas = datas self.tags = tags self.word2idx = word2idx

标量，向量，矩阵与张量1、标量一个标量就是一个单独的数，一般用小写的的变量名称表示。2、向量一个向量就是一列数，这些数是有序排列的。通常会赋予向量粗体的小写名称。我们可以把向量看作空间中的点，每个元素是不同的坐标轴上的坐标。计算机中一般把向量视为行向量,shape为(n)，列向量为矩阵,shape为(n,1)3、矩阵矩阵是二维数组，其中的每一个元素被两个索引而非一个所确定。我们通常会赋予矩阵粗体的大写变量名称，比如A。4、张量几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话

【参考：HuggingFace学习2：使用Bert模型训练文本分类任务_呆萌的代Ma的博客-优快云博客】数据集：【参考：利用LSTM+CNN+glove词向量预训练模型进行微博评论情感分析（二分类）_你们卷的我睡不着QAQ的博客-优快云博客】文本处理import pandas as pdimport numpy as npdf = pd.read_csv("weibo_senti_100k.csv", encoding="gbk")df.head()import redf.in

蓝斯诺特【参考：Transformer简明教程, 从理论到代码实现到项目实战, NLP进阶必知必会._哔哩哔哩_bilibili】举了一个实例，计算过程浅显易懂【参考：NLP - Transformer_伊织_的博客-优快云博客】【参考：lansinuote/Transformer_Example | github】下面略有修改import torchimport randomimport numpy as npimport mathtorch.manual_seed(100)m

在原文章上有自己的补充和修改【参考：torch.argmax函数说明_Egozjuer的博客-优快云博客】argmax函数：torch.argmax(input, dim=None, keepdim=False)返回指定维度最大值的序号dim给定的定义是：the demention to reduce.也就是把在dim这个维度的数据，变成这个维度上的最大值的下标index1）dim的不同值表示不同维度。特别的在dim=0表示二维中的列，dim=1在二维矩阵中表示行。广泛的来说，我们不管一个矩阵是

官方：https://pytorch.org/tutorials/beginner/basics/saveloadrun_tutorial.html【参考：PyTorch保存和加载模型_正则化的博客-优快云博客】保存和加载权重参数PyTorch 模型将学到的参数存储在内部状态字典中，称为 state _ dict。可以通过 torch.save 方法持久化这些内容:#----把模型中的参数保存成字典的形式, 不保存网络模型的结构, 官方推荐----torch.save(model.state_d

【参考：YJango的循环神经网络——实现LSTM - 知乎】 强烈建议阅读手动实现重置门 r_t更新门 z_t候选隐藏状态 n_th_t 增量更新得到当前时刻最新隐含状态∗ is the Hadamard product. 不是矩阵相乘矩阵元素对应位置相乘【参考：31 - GRU原理与源码逐行实现_取个名字真难呐的博客-优快云博客】【参考：31、PyTorch GRU的原理及其手写复现_哔哩哔哩_bilibili】单层单向import torchfrom torch

【参考：详解LSTM - 知乎】手动实现【参考：30、PyTorch LSTM和LSTMP的原理及其手写复现_哔哩哔哩_bilibili】单层单向【参考：30 - LSTM,LSTMP手撸代码_取个名字真难呐的博客-优快云博客】import torchfrom torch import nntorch.manual_seed(0) # 设置随机种子，随机函数生成的结果会相同batch_size = 2 # 批次大小seq_len = 3 # 输入序列长度input_siz

凯明初始化 莎莉初始化pytorch官方用的是凯明初始化你定义一个param就会自动调用凯明初始化定义linear或者rnn就会包含param【参考：深度学习Pytorch入门：神经网络模型的参数初始化操作_PingBryant的博客-优快云博客】【参考：深度学习中的参数初始化_man_world的博客-优快云博客】更新待定...

【参考：【循环神经网络】5分钟搞懂RNN，3D动画深入浅出_哔哩哔哩_bilibili】参数理解上面这张图最能表明RNN的运行原理【参考：pytorch中RNN参数的详细解释_lwgkzl的博客-优快云博客】自己的笔记 【参考：【PyTorch深度学习实践 | 刘二大人】B站视频教程笔记_myaijarvis的博客-优快云博客】多层、双向RNN【参考：循环神经网络的改进：多层RNN、双向RNN与预训练_DeepGeGe的博客-优快云博客】...

【参考：【深度学习】 Pytorch笔记_myaijarvis的博客-优快云博客】【参考：【PyTorch深度学习实践】B站视频教程笔记_myaijarvis的博客-优快云博客】手写数据集（多分类模板）【参考：【Pytorch从零入门深度学习实战教程】B站_myaijarvis的博客-优快云博客】MLP | Pytorch构建模板【参考：【PyTorch】学习【深入浅出PyTorch | GitHub】_myaijarvis的博客-优快云博客】FashionMNIST时装分类

Pytorch教程代码：https://github.com/DA-southampton/NLP_ability/tree/master/Pytorch【参考：秒杀Pytorch，从零入门深度学习实战教程，通俗易懂，小白首选_哔哩哔哩_bilibili】MLP逻辑回归 dasou_mlp.pyimport torchimport numpy as npfrom torch.utils.data import Datasetfrom torch.utils.data import Data

开源项目：【深入浅出PyTorch | GitHub】参考【GitHub-第四章 基础实战——FashionMNIST时装分类】经过前面三章内容的学习，我们完成了以下的内容：对PyTorch有了初步的认识学会了如何安装PyTorch以及对应的编程环境学习了PyTorch最核心的理论基础（张量&自动求导）梳理了利用PyTorch完成深度学习的主要步骤和对应实现方式现在，我们通过一个基础实战案例，将第一部分所涉及的PyTorch入门知识串起来，便于大家加深理解。同时为后续的进阶学习打好