随笔

首先看下平时我们所说的交叉熵：传送门在信息论中，交叉熵可认为是对预测分布q(x)用真实分布p(x)来进行编码时所需要的信息量大小。而在机器学习的分类问题中，真实分布p(x)是one-hot形式，表明独属于one-hot中1对应的角标的那个类，因此这也是为什么交叉熵常用于做分类问题的损失函数。H(p,q)=∑xp(x)log⁡1q(x)=−∑xp(x)log⁡q(x)\begin{aligned} H(p, q) &=\sum_{x} p(x) \log \frac{1}{q(x)} \\ &a

在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。1. GPU内存占用率问题 这往往是由于模型的大小以及batch size的大小，来影响这个指标。当你发下你的GPU占...

因为有人问我optimizer的step为什么不能放在min-batch那个循环之外，还有optimizer.step和loss.backward的区别；那么我想把答案记录下来。首先需要明确optimzier优化器的作用, 形象地来说，优化器就是需要根据网络反向传播的梯度信息来更新网络的参数，以起到降低loss函数计算值的作用，这也是机器学习里面最一般的方法论。从优化器的作用出发，要使得优化器能够起作用，需要主要两个东西：优化器需要知道当前的网络或者别的什么模型的参数空间，这也就是为什么在训练文件中

https://blog.youkuaiyun.com/abcdefg90876/article/details/104725943/https://panchuangai.blog.youkuaiyun.com/article/details/104920315?utm_medium=distribute.pc_relevant.none-task-blog-searchFromBaidu-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blo

文章目录1.torch softmax计算出0错误：2.解决办法：1.torch softmax计算出0错误：import torchentropy_softmax = torch.nn.Softmax(dim=0)t = torch.tensor([ 1.4588, 6.8605, -12.9596, 0.9334, 20.7457, -6.9825, 1.0430,35.1390, -5.0085, 11.4986, 14.0365, -24.9701, 9.1256, 15.3329,-

pytorch中的广播机制和numpy中的广播机制一样, 因为都是数组的广播机制两个维度不同的Tensor可以相乘, 示例a = torch.arange(0,6).reshape((6,))'''tensor([0, 1, 2, 3, 4, 5])shape: torch.Size([6])ndim: 1'''b = torch.arange(0,12).reshape((2,6))'''tensor([[ 0, 1, 2, 3, 4, 5], [ 6,

原生：https://www.cnblogs.com/cxq1126/p/13504437.htmlhttps://zhuanlan.zhihu.com/p/62486641https://blog.youkuaiyun.com/qsmx666/article/details/107118550?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1.control&depth_1-utm_source=distrib

文章目录1.RuntimeError: cuda runtime error (59) : device-side assert triggered2.CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)`3.pytorch BrokenPipeError: [Errno 32] Broken pipe1.RuntimeError: cuda runtime error (59) : device-side as

交换tensor维度：torch.Tensor.permute (Python method, in torch.Tensor)https://zhuanlan.zhihu.com/p/76583143https://blog.youkuaiyun.com/york1996/article/details/81876886tensor初始化(均匀分布、正态分布。。。)：torch.nn.inithttps://blog.youkuaiyun.com/dss_dssssd/article/details/83959474t

PRETRAINED_MODEL_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz", 'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz",...

1、Synonyms -- 号称最好的中文近义词工具包https://github.com/huyingxi/Synonymssynonyms可以用于自然语言理解的很多任务：文本对齐，推荐算法，相似度计算，语义偏移，关键字提取，概念提取，自动摘要，搜索引擎等。2、结巴分词GitHub: https://github.com/fxsjy/jieba特点支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不

文章目录1.根据向量1.1 embedding层介绍1.2 相似度计算1.2.1 字面距离相似度度量1.2.2 语义相似性2. 一些简单方法2.1 编辑距离2.2 杰卡德系数计算2.3 Word2Vec 计算1.根据向量1.1 embedding层介绍做nlp很多时候要用到嵌入层，pytorch中自带了这个层，那么什么是embedding层？用最通俗的语言讲就是在nlp里，embedding层就是句子、词转为向量，比如把单词表[‘你’，‘好’，‘吗’]编码成 ‘你’ --------------

文章目录1.语言模型(预测一句话的下一个单词)2. 代码2.1数据准备2.2定义模型2.3 训练模型（附加保存模型）：2.4 加载训练好的模型：1.语言模型(预测一句话的下一个单词)学习目标学习语言模型，以及如何训练一个语言模型学习torchtext的基本使用方法构建 vocabularyword to inde 和 index to word学习torch.nn的一些基本模型LinearRNNLSTMGRURNN的训练技巧Gradient Clipping如

文章目录前言：什么是PyTorch?Tensors一.构建tensor二.tensor运算三.numpy和pytorch的tensor之间进行转换四.使用GPU4.1 tensor转移到gpu的两种方法五.两层神经网络简单练习5.1 pytorch求梯度5.1.1 手动求梯度5.1.2 pytorch自动算gradient5.2 使用pytorch的nn(neural network)库5.3 使用优化器更新参数(optim)5.4 使用类的方法写模型(标准写法)前言：什么是PyTorch?======