
Python深度学习
文章平均质量分 79
你是AI领域的新手还是希望提升现有技能的专业人士,本专栏将为你提供实用的代码示例、最新的研究进展、以及深度学习理论的深入解析。从基础概念到高级算法,我们将手把手教你如何构建、训练和部署深度学习模型,解锁数据的潜力,创造出令人惊叹的应用。现在,开启你的AI学习之旅!
若北辰
循序渐进,日拱一卒,做时间的朋友!
展开
-
【深度学习】用RML2018训练好模型去识别RML2016的数据会遇到输入维度不匹配的问题,如何解决?
除了信号长度,RML2016和RML2018的数据集在其他方面可能也存在差异,如信噪比(SNR)、调制类型、样本数量等。这些差异也可能影响模型的性能。因此,在应用模型之前,建议详细分析两个数据集的特性,并根据需要进行相应的调整。由于RML2018和RML2016数据集的信号样本长度分别为1024和128,直接使用在RML2018上训练的调制识别模型来识别RML2016的数据可能会遇到输入维度不匹配的问题。如果您有更多具体的问题或需要进一步的技术支持,请随时告知!预训练的模型进行微调。仅调整输入层和输出层。原创 2025-01-16 17:57:40 · 227 阅读 · 0 评论 -
【深度学习-降维篇】t-SNE:让高维数据“看得见”的降维利器
t-SNE 是由和在 2008 年提出的一种用于可视化高维数据的算法。它最主要的目的,是将高维空间中的数据点投影到 2D 或 3D 空间中,并在低维空间中尽可能地保留原数据的局部结构,让我们能够用肉眼识别数据中的模式、聚类或分布情况。在高维空间中,数据往往是稀疏的、分布非常复杂,且不同样本之间的局部结构不易从外部洞察。t-SNE 通过一种基于概率分布相似度的方式,力图将相似的样本在低维空间里拉得更近、不相似的样本推得更远,从而得到一个更直观、更便于人类理解的可视化分布。原创 2025-01-02 10:21:46 · 333 阅读 · 0 评论 -
【深度学习-调参】Batch 大小与类别数到底有没有潜在的关系?
批次大小(batch_size)并不是一个仅关乎训练效率和显存资源的数字,而更应被视作一个影响训练稳定性与模型性能的重要超参数。对于一个多分类任务,如果我们在每一个批次中无法合理地保持各类别的样本比例或最少样本数量,就可能引发模型在训练过程中出现梯度不稳定、收敛缓慢和偏差累积等问题。在实际项目中,建议根据数据集规模、类别数量、类别不平衡情况等因素来合理地选择 batch_size,并采用适当的分层抽样或固定配额采样等策略。原创 2024-12-24 09:28:30 · 321 阅读 · 0 评论 -
【深度学习-算法】这应该是全网对LSTM算法讲的最清楚的一个了(从形状变换和运算流程的角度来看)
输入形状6410242(64,\;1024,\;2)6410242;表示有 64 个样本、每个样本的序列长度 1,024、每个时刻 2 个特征。LSTM 每个时刻运算输入xtx_txt与上一时刻ht−1ct−1ht−1ct−1共同参与 4 个门(输入门、遗忘门、输出门、候选细胞状态)的计算。产生当下时刻ctct(细胞状态)和htht(隐藏状态),均是64128(64,\;128)64128。整条序列输出。原创 2024-12-23 23:50:44 · 177 阅读 · 0 评论 -
【深度学习-环境篇】安装pytorch的全流程,跟着做就没问题
我们先配置一下镜像源,因为直接安装的话,因为pytorch的服务器在国外,我们直接安装的话,时间会非常长,这里我们就先配置一下国内的镜像源,这样就可以安装的比较快了。接下来,我们就需要看一下自己cuda driver 版本,要满足你选定的cuda runtime 版本小于等于cuda driver 版本。软件要小于硬件的版本才行,否则的话,如果软件的版本高,它想要使用某个硬件,但是硬件因为版本低,不支持,这不就出错了吗,回车就可以看到自己的驱动版本,我的cuda driver版本是:12.7。原创 2024-12-21 11:28:46 · 358 阅读 · 0 评论 -
【深度学习-论文】通俗易懂的理解多标签识别
多标签分类的核心思想是将一条信号同时标记多个标签,从而解决不同类型雷达发射机信号的并行识别问题。通俗来说,就是将复杂信号看作一个"组合",每个组合可以包含多个信号类型标签,例如同时包含SinFM和BPSK两种类型。原创 2024-12-17 14:56:32 · 183 阅读 · 0 评论 -
【Python深度学习】逆强化学习(IRL):通俗揭开学习背后的奥秘
逆强化学习的核心问题给定智能体的行为,能否推断出它追求的目标或奖励是什么?举个例子:假设你观察一个老练的司机在开车,他在不同的交通状况下作出了许多决策,例如转弯、减速、加速等。你并不知道他是如何做出这些决策的,但你能看到他开车的方式相当平稳、安全。逆强化学习的目标就是:通过观察司机的行为反推出他是依据什么样的“奖励函数”来做出这些决策的。这个奖励函数可能包含了诸如“避免事故”、“节省时间”、“节约油耗”等不同因素。原创 2024-09-14 11:06:53 · 340 阅读 · 0 评论 -
Python深度学习:【开源数据集系列】ImageNet数据集
ImageNet 是一个大规模的视觉数据集,是计算机视觉领域最重要的基准数据集之一。该数据集由普林斯顿大学和斯坦福大学的研究人员发起,于2009 年推出。ImageNet 是用于物体分类目标检测图像分割姿势估计等多种任务的通用数据集,尤其在深度学习和计算机视觉的突破性研究中具有重要地位。原创 2024-09-06 09:54:38 · 800 阅读 · 0 评论 -
【Python深度学习】增量学习
增量学习(Incremental Learning)是机器学习中的一个重要分支,它允许模型在保持已有知识的基础上逐步吸收新数据的信息,以适应动态变化的数据环境。与传统的批量学习不同,增量学习,而是对现有模型进行修改和更新,这样可以节省大量的计算资源和时间。原创 2024-09-04 15:01:06 · 527 阅读 · 0 评论 -
【Python深度学习】联邦学习概述、实现技术和主流联邦学习方法
联邦学习的关键思想是`“数据不动,模型动”`,即`数据保留在本地设备上`,而`模型参数(或更新后的梯度)被传输到中央服务器`。在这种架构下,数据隐私和安全得到了很大的保障,尤其在涉及敏感数据的应用场景中具有重要意义。原创 2024-09-04 10:11:05 · 858 阅读 · 0 评论 -
【Python深度学习】做分类任务时LSTM模型的输入数据应该是什么样的?各个维度的含义是什么
在分类任务中,使用LSTM模型的输入数据通常是时间序列或序列数据,每个输入样本包含若干个时间步长(time steps),每个时间步长有多个特征(features)。典型的输入数据维度为 `(batch_size, sequence_length, num_features)`。原创 2024-09-03 14:53:09 · 545 阅读 · 0 评论 -
【Python深度学习】做深度学习训练时,如果数据集太大,无法一次性加载进GPU,应该如何做?
方法核心思想优点缺点适用场景实现复杂度小批量训练(Mini-Batch Training)与数据加载器(DataLoader)将数据集划分为小批量,每次只加载一个小批量到GPU中进行训练。- 易于实现- 是深度学习的标准做法- 支持多进程加载- 内存可能成为瓶颈- 需要调整批量大小避免内存不足适用于大部分场景低数据分片与分布式训练(Data Sharding & Distributed Training)将数据集分片,每个GPU或节点处理其中一部分数据,分布式训练。原创 2024-08-27 11:24:19 · 674 阅读 · 0 评论 -
【Python深度学习】图像分割经典网络:U-Net
U-Net是一种深度学习网络,最初由Olaf Ronneberger等人在2015年为医学图像分割而设计。这个网络特别适用于那些需要精确分割的任务,如细胞分割、组织结构分析等。U-Net之所以受到广泛关注,主要是因为它的网络结构特别适合处理少量数据而得到高精度的分割效果。原创 2024-08-20 14:55:03 · 320 阅读 · 0 评论 -
【Python深度学习】图片识别任务中,原始数据集中图片的大小不固定时,用代码设置大小为多少合适?
在做图片分类识别任务时,如果没有公开数据集的情况下,需要自己去网上找相应的图片数据,但是各种各样的图片大小不一致,手动截图的话,大小无法保证,所以此时,最好就是用代码来固定大小。在图片识别任务中,数据集中图片的大小设置取决于多种因素,包括模型的架构、计算资源以及具体的任务需求。以下是一些常见的图片大小设置建议:经典模型(例如VGG, ResNet等):较小的图片(例如MobileNet, EfficientNet等):自定义任务:数据增强和预处理:推荐的图片尺寸一般在 到 之间,具体选择需要根据你的模型原创 2024-08-20 09:00:00 · 473 阅读 · 0 评论 -
【Python深度学习】如何实现将将时间序列转换为图像的功能
要将时间序列转换为图像,可以使用多种方法,其中一个流行的方法是通过马尔可夫转移场MTF下面我们将介绍如何使用 Python 库pyts实现这一功能。原创 2024-08-12 10:00:00 · 734 阅读 · 0 评论 -
【python深度学习】通俗易懂的理解一下transformer、RNN、CNN的主要区别
RNN适合处理序列数据,能捕捉序列中的依赖关系,但对于长序列有局限。CNN擅长处理图像数据,通过局部感知提取特征,但不适合处理序列数据。通过自注意力机制并行处理整个序列,适合处理长序列和需要捕捉复杂依赖关系的数据,但计算复杂度较高。原创 2024-07-10 14:33:33 · 679 阅读 · 0 评论 -
【深度学习】常用命令行指令汇总
这些指令对于管理深度学习环境、监控资源使用、调试程序等方面。原创 2024-06-28 13:39:53 · 305 阅读 · 0 评论 -
【分布式】Pytorch在多GPU环境的分布式训练中常见问题汇总
分布式训练涉及在多个计算单元上并行地训练深度学习模型。在多 GPU 环境中,这通常意味着模型的训练过程被分散到多个 GPU 上,以加速训练过程并处理更大的数据集。PyTorch 提供了多种工具和库来支持分布式训练,如(DDP) 等。原创 2024-06-25 20:56:43 · 500 阅读 · 0 评论 -
【计算机视觉】mmcv库详细介绍
该库涵盖了从数据加载到模型训练的各个方面,广泛应用于开源项目,如 MMDetection、MMPose、MMClassification 等,这些都是 OpenMMLab 项目的一部分。:作为 OpenMMLab 的一部分,MMCV 享受到一个活跃的社区支持,包括频繁的更新和大量的文档资源。MMCV 的运行器(Runner)抽象了训练循环,使得用户只需关注模型构建、数据处理和配置设置,而训练的执行细节由 MMCV 管理。:封装了训练过程的管理,包括训练循环、验证和测试,以及日志记录和模型检查点的保存。原创 2024-06-25 20:51:06 · 658 阅读 · 0 评论 -
Python深度学习:融合网络 | LSTM网络和ResNet网络融合 | 含随机生成的训练数据集
LSTMResNet 类接受两个输入(LSTM的序列输入和ResNet的图像输入),分别通过LSTM和ResNet进行处理,然后将它们的输出拼接在一起,通过全连接层进行分类。RandomDataset 类生成随机的序列数据和图像数据,并确保它们具有所需的形状。调整数据加载器和前向传播步骤以处理两个输入。原创 2024-06-13 14:47:39 · 907 阅读 · 1 评论 -
Python深度学习:Bi-LSTM和LSTM在网络上有什么区别,对比来看
Python深度学习:Bi-LSTM和LSTM在网络上有什么区别,对比来看原创 2024-06-12 08:44:28 · 236 阅读 · 0 评论 -
Python深度学习:【开源数据集系列】最全的RML2018a数据集预处理代码
【代码】Python深度学习:最全的RML2018a数据集预处理代码原创 2024-05-24 14:05:49 · 1188 阅读 · 0 评论 -
Python深度学习:【模型系列】一文搞懂Transformer架构的三种注意力机制
注意力机制最初受到人类视觉注意力的启发,目的是让模型在处理大量信息时能够聚焦于当前任务最为相关的部分。在深度学习中,注意力机制允许模型动态地将关注点分配到输入数据的重要部分上,提高了模型处理信息的效率和效果。这种机制尤其在自然语言处理和图像识别领域表现出强大的能力,能够显著提升模型处理序列数据的性能。Transformer 通过其独特的自注意力层和多头注意力机制,配合位置编码和专门的结构设计,极大地。原创 2024-05-28 20:44:57 · 261 阅读 · 0 评论 -
Python深度学习:【模型系列】Transformer面试灵魂20问
Transformer模型是一种基于自注意力机制的神经网络架构,主要用于处理序列数据,如自然语言处理任务。它由Google在2017年提出,并在“Attention is All You Need”这篇论文中首次公开。Transformer模型的核心思想是利用自注意力机制来捕捉序列中的依赖关系,从而实现对序列数据的有效处理。Transformer模型主要由编码器和解码器两部分组成,每部分都包含多层自注意力机制和前馈神经网络。编码器负责将输入序列转换为一种内部表示,而解码器则利用这种内部表示来生成输出序列。原创 2024-05-28 20:40:18 · 308 阅读 · 0 评论 -
Python深度学习:【模型参数系列】你需要知道的batch_size冷知识
batch_size指的是用于在一个训练迭代中更新模型权重的样本数量。每个批次包含的样本将一起被传递通过网络,进行一次前向传播和一次后向传播,然后基于这些样本计算得出的损失来更新模型的参数。原创 2024-04-22 15:25:45 · 359 阅读 · 0 评论 -
Python深度学习:【模型系列】强化学习简介及优质学习资源
强化学习(Reinforcement Learning, RL)是机器学习的一个子领域,它涉及智能体agent)通过与环境的交互来学习如何在给定的任务中最大化某种累积奖励。强化学习不同于监督学习,它不依赖于预先标注的输入/输出对,而是通过试错的方法发现奖励信号最大化的策略。原创 2024-04-28 17:18:40 · 387 阅读 · 0 评论 -
Python深度学习:【模型系列】 Transformer模型有哪些著名的变种
Transformer模型自从2017年由Google的研究者引入以来,已经演化出许多重要和有影响力的变体。这些变种模型在不同的任务和领域中被广泛使用,包括自然语言处理、计算机视觉和多模态学习。这些变体展示了Transformer架构的灵活性和强大能力,使得它成为了现代AI系统中的一个基石技术。原创 2024-04-15 09:24:11 · 361 阅读 · 0 评论 -
Python深度学习:【模型系列】Vision Transformer(ViT)的简介
Vision Transformer的`中文名称`通常被翻译为`“视觉变换器”`或`“视觉Transformer”`。这个名字直接来源于其英文缩写“ViT”,并准确反映了其`将Transformer架构应用于视觉(图像处理)领域`的特点。原创 2024-04-09 13:57:55 · 533 阅读 · 0 评论 -
Python深度学习:【环境系列】cuda的环境如何配置
红框的cuda版本,是你的显卡能装的最高的cuda版本,所以可以选择低于它的版本。比如我的是11.4,你可以选择11.3。安装与cuda配套的pytorch和torch_cuda。查看pytorch各版本和cuda版本对应关系。找到cuda11.3下面的这段话。根据你的系统选择,然后下载。双击安装(默认安装即可)原创 2024-04-01 15:54:20 · 792 阅读 · 0 评论 -
Python深度学习033:Python、PyTorch、CUDA和显卡驱动之间的关系
Python、PyTorch、CUDA和显卡驱动之间的关系相当紧密,它们共同构成了一个能够执行深度学习模型的高效计算环境。原创 2024-04-01 13:21:14 · 554 阅读 · 0 评论 -
Python深度学习032:conda操作虚拟环境env的全部命令
这些命令涵盖了 Conda 虚拟环境的基本操作。Conda 的功能非常强大,支持更复杂的场景和细致的管理需求。更多详细信息和高级用法,请参考 Conda 的官方文档。使用 Conda,你可以创建、导出、列出、删除和更新环境,这些环境可以包含不同版本的 Python 以及/或软件包。Conda 是一个开源的包管理器和环境管理器,可以用于安装、运行和升级包和环境。是你想要创建的环境的名字。这会将当前环境的包列表导出到一个名为。先激活环境,然后使用。原创 2024-04-01 13:20:50 · 526 阅读 · 0 评论 -
Python深度学习031:用纯python实现堆叠自编码器网络(不使用框架)
堆叠自编码器(Stacked Autoencoder)是一种深度神经网络,主要用于无监督学习任务。它由多个自编码器层次堆叠而成,每个自编码器通常包括一个编码器(Encoder)和一个解码器(Decoder)。原创 2023-12-25 20:41:36 · 1111 阅读 · 0 评论 -
Python深度学习030:torchvision.models有哪些已经写好的模型 | 以resnet18网络为例讲解如何使用(含数据、代码和结果展示)
torchvision.models`提供了一系列预训练的模型,主要用于图像分类、目标检测、图像分割等任务。原创 2023-12-25 15:58:06 · 719 阅读 · 0 评论 -
Python深度学习【GAN生成对抗网络系列】 用GAN生成mnist手写数字图片
生成对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型,由 Ian Goodfellow 和他的同事在 2014 年首次提出。GAN 是一种非常强大和独特的神经网络架构,用于生成新的、与训练数据相似的数据样本。它在图像生成、艺术创作、音频生成和其他领域取得了显著的成果。原创 2023-12-23 11:11:56 · 1482 阅读 · 0 评论 -
Python数据处理048:Python读写pkl文件
Pickle(.pkl)格式是Python特有的一种数据序列化方式。它允许用户将几乎任何Python对象转换为字节流,并将其存储在文件中。之后,可以从这个文件中恢复(反序列化)原来的Python对象。这种格式广泛用于数据持久化和在程序运行间传递对象。原创 2023-12-22 14:25:49 · 1287 阅读 · 0 评论 -
Python机器学习:哪种机器学习算法适合你?| 线性模型 | 逻辑回归 | 最近邻 | 决策树 | SVM | 朴素贝叶斯 | 集成算法 |浅层神经网络 | 深层神经网络
你有数据和应用程序,但应先尝试哪个算法?无论你选择哪个算法,都有好的地方和不好的地方。下面介绍一些选择机器学习算法的基本原则。原创 2023-08-25 15:07:44 · 176 阅读 · 0 评论 -
Pytorch | 基于Pytorch的生成对抗网络
y.backward() 是用于计算梯度的,也就是y对x的导数,dy/dx,计算当x=3.5时的值。但实际上requires_grad=True告诉了pytorch我们需要得到一个关于x的梯度。pytorch将这些张量连成一幅图,以展示这些张量是如何连接的,这幅图就叫做。这行代码除了计算出梯度外,并将梯度与x的实际值一同存储在x中。希望知道z随y的变化情况,就需要知道梯度: dz/dx。输出只多了一些东西,但是仍然是我们想要的结果。当x=3.5时,z=14。原创 2023-07-27 20:34:59 · 421 阅读 · 0 评论 -
Pytorch学习笔记 | GAN生成对抗网络 | 代码 | 生成数据 | 演变规律可视化
这是我们第一次自己生成数据!而且也符合【1,0,1,0】的格式规律!原创 2023-08-02 17:27:35 · 739 阅读 · 0 评论 -
Pytorch学习笔记 | 构建神经网络模型 | 提升效果的优化方法
ELU(Exponential Linear Unit)函数,与ReLU类似,但对于负数输入,返回一个小于0的指数函数。: ReLU(Rectified Linear Unit)函数,将输入映射到大于0的值,小于0的值被映射为0。: Log-Softmax函数,与Softmax函数相似,但返回归一化后的对数概率值。: LeakyReLU函数,与ReLU类似,但对于负数输入,返回一个小于0的斜率。: Sigmoid函数,也称为逻辑函数,将输入映射到0和1之间的连续值。)是可选的,默认为0.01。原创 2023-08-02 15:50:34 · 322 阅读 · 0 评论 -
Pytorch学习笔记 | 数据类型 | mnist数据集
python中数据类型和pytorch中的对应关系。注意:pytorch是没有没有string类型的。原创 2023-07-27 20:35:17 · 342 阅读 · 0 评论