- 博客(471)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 深度学习中检查模型梯度是否发生变化
要检查模型的梯度是否发生变化，在进行梯度更新操作（如反向传播）之前和之后，分别查看模型参数的梯度。确保模型处于训练模式。进行一次前向传播和损失计算。在反向传播之前，保存参数的梯度状态（如果是第一次反向传播，梯度应该是None或者初始状态）。进行反向传播。比较反向传播前后的梯度。
2024-08-12 18:32:06
619
1
原创 时序预测中使用一个预训练的深度神经网络（DNN）模型的预测结果和另一个模型（例如：LSTM模型）的输出结果来计算损失函数，并进一步训练这个LSTM模型
时序预测任务中，我们可以使用一个预训练的深度神经网络（DNN）模型的预测结果和另一个模型（例如：LSTM模型）的输出结果来计算损失函数，并进一步训练这个LSTM模型。这里我们假设一个预训练的简单MLP模型。return x# 假设已加载预训练权重pretrained_model.eval() # 设置为评估模式我们定义一个LSTM模型，从头开始训练。return out我们使用均方误差损失函数（MSE），将主要的学生模型输出与目标值的损失和预训练模型输出的损失结合。
2024-08-12 18:22:15
447
原创 pytorch模型采用自定义loss训练
在PyTorch中，可以将一个DNN预训练模型的预测结果作为输入，与另一个模型的输出进行比较，并计算损失，然后使用这个损失来训练第二个模型。这通常用于迁移学习、知识蒸馏或特征融合等场景。
2024-08-12 18:16:40
488
原创 04、cuda reduce了解内存使用
从数组规约中了解内存使用情况1、从cpu计算到GPU计算，加快计算速度2、从全局内存、共享内存、动态共享内存、原子函数，不断加速计算和减少内存使用3、数组规约的加速示例4、进一步研究，还可以从线程束方面进行规约计算。
2024-01-18 17:06:25
430
原创 03、cuda矩阵转置了解内存使用
从矩阵转置的角度，了解全局内存和共享内存的运行如果编译器能够判断一个全局内存变量在整个核函数的范围都只可读，自动会用函数__ldg() 读取全局内存，从而对数据进行缓存，缓解非合并访问带来的影响。通常不能满足读取和写入都是合并的情况下，一般来说应当尽量做到合并地写入。一些架构下，需要显示使用函数__ldg()在矩阵转置问题中，对全局内存的读和写这两个操作，总有一个是合并的，一个是非合并的。利用共享内存可以改善全局内存的访问模式，使得对全局内存的读和写都是合并的。
2024-01-18 16:57:40
1596
原创 01、cuda基本概念
以下信息介绍来自樊哲勇的cuda书籍，仅自己学习记录GPU（graphics processing unit），图形处理器，俗称显卡，但并不是显卡，显卡中包含GPU。1）与CPU的区别CPU有更多晶体管，用于数据缓存和流程控制，只有少数几个逻辑计算单元，适合完成简单的逻辑计算GPU有数千个核心，适合大规模矩阵运算。常见的GPU系列：2）CPU+GPU 异构计算平台CPU：host ，主机GPU：device 设备3）计算性能浮点数运算峰值：内存带宽（显存）
2024-01-18 16:33:53
1222
原创 model introduction
文本分类方法模型主要分为两个大类，一类是传统的机器学习方法（具体可以再分为四类），另一类是新兴的深度学习模型。由于每个算法其实都非常复杂，在此仅做简单介绍，建议需要使用时一定要再深入学习理解。从 1961 到 2020 文本分类算法的发展历史图上黄色代表浅层学习模型，绿色代表深层学习模型。可以看到，从 1960 年代到 2010 年代，基于浅层学习的文本分类模型占主导地位。自 2010 年代以来，文本分类已逐渐从浅层学习模型变为深层学习模型。
2024-01-16 10:38:05
925
原创 text expressing
文本是一种非结构化的数据信息，是不可以直接被计算的。文本表示的作用就是将这些非结构化的信息转化为计算机可以理解的结构化的信息 ，这样就可以针对文本信息做计算，来完成后面的任务。在向量空间模型中，文本可以选择字、词组、短语、甚至“概念”等多种元素表示。这些元素用来表征文本的性质，区别文本的属性，因此这些元素可以被称为文本的特征。在文本数据集上一般含有数万甚至数十万个不同的词组，如此庞大的词组构成的向量规模惊人，计算机运算非常困难。进行特征选择，对文本分类具有重要的意义。
2024-01-16 10:27:07
897
原创 text classification 简介
后来伴随着统计学习方法的发展，特别是 90 年代后互联网在线文本数量增长和机器学习学科的兴起，逐渐形成了一套解决大规模文本分类问题的经典做法，也即特征工程 + 浅层分类模型。深度学习模型是大数据喂出来的，输入的信息越多，DNN 的性能就越好。文本分类最初是通过专家规则进行分类，利用知识工程建立专家系统，这样做的好处是比较直观地解决了问题，但费时费力，覆盖的范围和准确率都有限。特定领域的文本（例如金融和医学文本）包含许多特定的单词或领域专家，可理解的语，缩写等，这使现有的预训练单词向量难以使用。
2024-01-16 10:17:07
1651
原创 Linux实操常用命令
当前服务器下，传输到另一个服务器中，另一个服务器中需要chmod 777 target_path,权限修改。采用pgrep [任务号] 或 jobs -l 查询代码进程。// 列出home下面所有一级目录的一级目录文件大小。//查看当前目录下各个文件及目录占用空间大小。记录在使用终端时，经常使用到的一些命令。4、删除服务器中一个运行的程序。1、当前Linux系统的版本。//查看系统中文件的使用情况。7、scp 跨服务器传输文件。2、查看系统中有哪些用户。3、查看PID对应的用户。5、压缩 、解压文件。
2024-01-16 09:55:09
392
原创 4.36 构建onnx结构模型-Where
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Where结点进行分析。
2023-12-31 11:00:56
669
原创 4.35 构建onnx结构模型-Layernorm
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Layernorm结点进行分析。
2023-12-31 10:50:12
1074
原创 4.34 构建onnx结构模型-Gemm
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Gemm结点进行分析。
2023-12-31 10:44:52
1083
原创 4.33 构建onnx结构模型-Expand
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Expand结点进行分析。
2023-12-31 10:37:35
735
原创 4.32 构建onnx结构模型-Erf
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Erf结点进行分析。
2023-12-31 10:28:57
687
原创 4.31 构建onnx结构模型-Tile
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Tile结点进行分析。
2023-12-30 13:30:59
681
原创 4.30 构建onnx结构模型-TopK
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以TopK结点进行分析。
2023-12-30 13:28:06
798
原创 4.29 构建onnx结构模型-Unary
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Abs结点进行分析。
2023-12-30 13:21:00
492
原创 4.28 构建onnx结构模型-Unfold
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Unfold结点进行分析。
2023-12-30 13:15:59
558
原创 4.27 构建onnx结构模型-Unsuqeeze
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Unsuqeeze结点进行分析。
2023-12-30 12:56:10
644
原创 4.26 构建onnx结构模型-Suqeeze
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Suqeeze结点进行分析。
2023-12-30 12:50:12
498
原创 4.25 构建onnx结构模型-Split
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Slice结点进行分析。
2023-12-30 12:04:50
1138
原创 4.24 构建onnx结构模型-Slice
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Slice结点进行分析。
2023-12-30 12:01:21
1252
原创 4.23 构建onnx结构模型-Shape
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Shape结点进行分析。
2023-12-30 11:54:09
779
原创 4.22 构建onnx结构模型-Scatter
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Scatter结点进行分析。
2023-12-30 11:47:20
590
原创 4.21 构建onnx结构模型-Resize
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Resize结点进行分析。
2023-12-30 11:42:06
743
原创 4.20 构建onnx结构模型-Reduce
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Reduce结点进行分析。
2023-12-30 11:17:13
607
原创 4.19 构建onnx结构模型-Range
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Range结点进行分析。
2023-12-30 10:46:23
542
原创 4.18 构建onnx结构模型-Pad
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Pad结点进行分析。
2023-12-30 10:38:27
764
原创 4.17 构建onnx结构模型-Or
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以Or结点进行分析。
2023-12-30 10:25:57
376
原创 4.16 构建onnx结构模型-And
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以And结点进行分析。
2023-12-29 19:38:25
449
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人