将pytorch中的三维tensor另存为csv文件

Pytorch提取模型特征向量保存至csv # -*- coding: utf-8 -*- """ dj """ import torch import torch.nn as nn import os from torchvision import models, transforms from torch.autograd import Variable import numpy as np from PIL import Ima... 阅读详情
#!/usr/bin/env python3

import torch.nn as nn
import torch.nn.functional
import numpy as np
i
#此案例来源于:https://pytorch.org/docs/master/nn.html#torch.nn.LSTM
rnn = nn.LSTM(input_size=10,hidden_size=20,num_layers=2)#输入向量维数10, 隐藏元维度20, 2个LSTM层串联(若不写则默认为1)
input = torch.randn(5,3,10)#输入(seq_len,batch , input_size) 序列长度为5 batch为3 输入维度为10
#print(input)
h0 = torch.randn(2,3,20)#h_0(num_layers * num_directions, batch, hidden_size)  num_layers = 2 ,batch=3 ,hidden_size = 20
c0 = torch.randn(2,3,20)#同上
output, (hn,cn) = rnn(input, (h0,c0))

#保存hn
a = hn.detach().numpy()
#三维numpy无法输出为csv,必须用reshape重塑
b = a.reshape(-1,20)
np.savetxt('hn.csv',b,delimiter=',')
print(hn)
print(b)

输出如下: 

C:\Users\Penghj\Anaconda3\envs\pytorch-py36\python.exe D:/PycharmProjects/LSTMprocess/LSTM_test.py
tensor([[[-7.3971e-02, -1.2780e-01, -1.4474e-01,  1.8253e-01, -1.9796e-01,
           1.0784e-01, -2.3064e-01, -3.4146e-01,  1.8185e-01, -8.9133e-04,
           4.0730e-02, -1.2608e-01,  5.8794e-02, -7.0834e-02, -1.8286e-01,
          -1.0784e-02,  1.9347e-01, -1.5460e-01,  8.6555e-02, -1.6798e-02],
         [ 9.6833e-02, -5.8035e-02,  1.7099e-01,  2.2732e-01,  1.3198e-02,
           3.5267e-03,  4.5223e-02, -1.5988e-01, -9.0247e-02,  7.3956e-02,
           7.6391e-02, -4.5348e-02,  7.6712e-02,  2.2441e-03, -1.1218e-01,
           7.3470e-02,  1.0081e-01, -3.8649e-02,  1.3708e-01,  2.1249e-01],
         [ 5.5192e-02,  1.4865e-02,  1.6241e-02, -9.0010e-03, -1.9215e-01,
          -4.5265e-02,  1.0673e-01, -1.2473e-01, -1.9864e-04, -1.5129e-01,
          -8.4610e-02, -4.1374e-02,  1.1179e-01, -7.7280e-02, -9.2104e-04,
           4.8305e-02,  1.4308e-02, -6.9500e-03,  2.7160e-01,  1.0379e-01]],

        [[-1.4114e-01,  2.4604e-02, -3.0190e-02,  9.0903e-02,  1.7423e-02,
          -4.3247e-02, -1.7116e-01, -1.2302e-01, -1.6867e-01,  6.4440e-03,
          -1.3868e-01, -4.2504e-02, -8.0390e-02,  4.2705e-03,  3.0945e-02,
          -7.8335e-02,  6.4501e-02,  5.7008e-03, -5.9228e-02, -3.5933e-02],
         [-6.2894e-02,  6.8849e-02,  1.5310e-02,  3.9452e-02, -4.1810e-02,
          -1.6745e-01, -2.1690e-01, -1.1189e-02, -1.0120e-01, -5.4169e-02,
          -1.2677e-01, -8.9171e-02, -5.1950e-02, -8.6439e-02,  7.8760e-03,
          -1.0244e-01,  6.7068e-02,  8.7209e-02, -1.7350e-02, -1.0928e-02],
         [-1.4949e-01,  4.2771e-02, -2.9070e-02,  4.4891e-02, -4.9142e-02,
          -1.6704e-01, -1.4158e-01, -1.0561e-02, -1.2310e-01, -1.1926e-02,
          -1.1779e-01, -1.2357e-02, -7.4506e-03, -2.5705e-02,  1.0918e-02,
          -7.2432e-02,  7.4882e-02,  5.3149e-02, -7.8296e-03, -4.9892e-02]]],
       grad_fn=<StackBackward>)
[[-7.39708394e-02 -1.27802983e-01 -1.44737855e-01  1.82530552e-01
  -1.97959319e-01  1.07843086e-01 -2.30639011e-01 -3.41463804e-01
   1.81853518e-01 -8.91325413e-04  4.07299958e-02 -1.26077503e-01
   5.87935671e-02 -7.08335489e-02 -1.82858154e-01 -1.07838241e-02
   1.93470061e-01 -1.54596388e-01  8.65550786e-02 -1.67978760e-02]
 [ 9.68326107e-02 -5.80345728e-02  1.70993403e-01  2.27316663e-01
   1.31975403e-02  3.52669228e-03  4.52234782e-02 -1.59884900e-01
  -9.02474746e-02  7.39560351e-02  7.63912499e-02 -4.53478247e-02
   7.67116323e-02  2.24413490e-03 -1.12175845e-01  7.34703988e-02
   1.00805841e-01 -3.86485495e-02  1.37081578e-01  2.12489918e-01]
 [ 5.51915988e-02  1.48648266e-02  1.62407588e-02 -9.00098588e-03
  -1.92146197e-01 -4.52653170e-02  1.06727183e-01 -1.24732286e-01
  -1.98639274e-04 -1.51294112e-01 -8.46096203e-02 -4.13742140e-02
   1.11793645e-01 -7.72797391e-02 -9.21042752e-04  4.83049154e-02
   1.43076414e-02 -6.94996910e-03  2.71601051e-01  1.03792876e-01]
 [-1.41142428e-01  2.46040653e-02 -3.01896222e-02  9.09029543e-02
   1.74230635e-02 -4.32474427e-02 -1.71161547e-01 -1.23024724e-01
  -1.68667182e-01  6.44403743e-03 -1.38677344e-01 -4.25040163e-02
  -8.03901553e-02  4.27051587e-03  3.09446547e-02 -7.83353224e-02
   6.45011663e-02  5.70079219e-03 -5.92282042e-02 -3.59332785e-02]
 [-6.28941953e-02  6.88489452e-02  1.53099252e-02  3.94519903e-02
  -4.18104976e-02 -1.67447835e-01 -2.16900289e-01 -1.11890212e-02
  -1.01196185e-01 -5.41693345e-02 -1.26771182e-01 -8.91706571e-02
  -5.19499257e-02 -8.64390358e-02  7.87597708e-03 -1.02441035e-01
   6.70683980e-02  8.72091055e-02 -1.73503663e-02 -1.09276902e-02]
 [-1.49493888e-01  4.27707098e-02 -2.90701501e-02  4.48911339e-02
  -4.91419397e-02 -1.67038664e-01 -1.41577035e-01 -1.05611794e-02
  -1.23095192e-01 -1.19260075e-02 -1.17788106e-01 -1.23572880e-02
  -7.45061925e-03 -2.57053599e-02  1.09177465e-02 -7.24323615e-02
   7.48823658e-02  5.31486273e-02 -7.82960933e-03 -4.98918593e-02]]

Process finished with exit code 0

三维深度学习实战:PyTorch原生3D建模与工业级优化 三维深度学习并非二维CNN的简单升维,而是面向点云、体素、网格等异构几何数据的全新建模范式。其核心在于理解三维张量的内存布局、坐标敏感性与旋转不变性等本质特性,并据此设计混合表征架构。相比通用框架封装,原生PyTorch+Triton的底层控制可显著提升GPU访存效率与推理鲁棒性,尤其在工业缺陷检测、医学CT分割和BIM构件识别等高精度场景中,显存占用降低57%、推理速度提升近3倍。本文聚焦三维数据加载、Conv3D陷阱规避、几何感知训练策略及ONNX/TensorRT部署等真实工程断点,提供可复现的Pyt 阅读详情

相关推荐

2022年AI Python框架实战选型指南:PyTorch、TF、JAX、HF与Lightning深度对比

深度学习框架是AI工程落地的核心基础设施,其选型直接决定开发效率、部署稳定性与团队协作成本。从计算图机制(动态图vs静态图)、分布式训练支持、模型导出标准(SavedModel/TorchScript/ONNX)到高层抽象能力(Trainer/Pipeline),不同框架在可调试性、工业闭环性、数学表达力和开箱即用性上各具优势。PyTorch以动态图和Python原生体验主导研究与快速迭代场景;TensorFlow凭借SavedModel和TF Serving构建端到端生产链路;JAX以函数式范式和XLA编

468

Pytorch教程(十八)tensor的保存为csv,并加载

保存 有一个tensor数据需要保存,这时训练好的一个节点embedding: 我们需要把结果保存下来: 刚开始使用的是: np.savetxt('./obj/model.csv',model.encode().numpy(),fmt='%.2f',delimiter=',') 但是运行报错: 提示说要使用tensor.detach().numpy() detach()方法的作用是从计算图中脱离出来。返回一个新的tensor,新的tensor和原来的tensor共享数据内存,但不涉及梯度计算,即req

vincent_duan的专栏 1万+

计算机视觉数据预处理:三维校准与工业级鲁棒性实践

计算机视觉数据预处理是模型性能的底层决定因素,其本质远超简单的图像缩放与归一化,而是一套涵盖空间坐标、像素强度和语义一致性三大维度的系统性校准工程。在工业检测、自动驾驶等高精度场景中,预处理需严格遵循物理约束——如运动模糊核尺寸由速度与曝光时间推导,ROI感知缩放避免小目标信息坍缩,分位数归一化应对动态范围失衡。这些技术不仅提升mAP与定位精度,更保障跨设备、跨阶段(训练/验证/部署)的推理一致性。本文聚焦带注释的计算机视觉数据在真实产线中的落地痛点,详解标注质量驱动的预处理策略、OpenCV与tifffi

weixin_30315435的博客 459

Torch7 将Tensor写入csv文件

可能是Torch7使用的人比较少,今天尝试在torch7中将tensor写入csv文件中居然查了一上午。。WTF。。 这里简单介绍一下我查到的几种方法,希望能够帮助到有同样需求的人,也欢迎各种补充。 方法一:直接写入 require 'torch' matrix = torch.Tensor(5,3) -- a 5x3 matrix matrix:random(1,10) -- matr...

zhangboshen的博客 6194

PyTorch、TensorFlow与Keras实战选型指南:调试、部署与团队适配

深度学习框架本质上是工程化抽象工具,其核心价值不在计算性能,而在调试可见性、部署穿透力和计算抽象层级。PyTorch以动态图和细粒度控制降低算法迭代门槛,适合科研探索与梯度级问题定位;TensorFlow凭借SavedModel、TFLite和Serving构建端到端工业部署闭环,尤其在边缘设备与国产芯片适配中优势显著;Keras则通过高阶声明式API大幅压缩原型验证周期,降低团队认知负荷与协作成本。三者差异本质是工程权衡:当模型训练卡在凌晨三点的梯度爆炸,PyTorch的实时计算图是心电图;当产线树莓派等

weixin_30383279的博客 373

基于PyTorch的CNN-LSTM网络流量检测系统实践指南

深度学习技术为网络流量分类提供了新思路,其中CNN-LSTM混合模型能够同时提取局部特征与时序依赖。卷积神经网络擅长捕捉短窗口内的空间模式,循环神经网络则负责建模序列长期关系,两者融合在流量识别中优势显著。该组合广泛应用于恶意流量检测、应用识别和加密流量分析等场景,可有效缓解传统特征工程耗时且难适应加密协议的问题。基于PyTorch的CNN-LSTM网络流量检测系统,涵盖了从pcap包切分、流特征序列构造、模型搭建训练到性能评估与ONNX部署的完整流程,并解析了维度不匹配、梯度爆炸、类别不均衡等常见避坑要点

weixin_33861800的博客 396

保存tensor到csv中

1 首先将GPU上的tensor复制一封到cpu上: save_occ=occ_mask.data.cpu() 2 再将高纬度tensor转换到2维度的tensor, save_occ=occ_mask.data.cpu() with open("1.csv","ab") as f: # for i in range(occ_mask.shape[1]): # one_layer=occ_mask[1,:,:] np.savetxt(f,save_occ[0.

abc1831939662的博客 5003

绝缘子污染物模拟图像分类:14400张数据集与PyTorch训练避坑指南

图像分类是计算机视觉应用最基础也最频繁的任务之一,尤其在电力巡检场景中,模型需要快速识别绝缘子表面的污染物类型,以判断线路风险。要实现可靠的分类模型,高质量的标注数据集必不可少,但数据规模大并不等于模型泛化好。模拟生成的图像数据集虽然能批量补充训练样本,却容易因背景单一、光照单调而让模型学到“捷径”,导致在真实巡检画面中精度骤降。本文从数据组织形态出发,讲解如何使用PyTorch加载并训练ResNet18等模型,并深入剖析数据划分、类别不均衡、验证集虚高等常见陷阱。通过混淆矩阵分析、错误样例核对以及多尺度推

weixin_33898233的博客 450

Pytorch中新建Tensor以及其操作记录

博主在自己用pytroch实现Transformer时遇到的一些bug以及一些使用心得,会不定期的更新~

JasonFuyz的博客 4475

别再手动对照了!用Python+ArcGIS Pro一键搞定三调数据转土地三大类

本文介绍如何利用Python和ArcGIS Pro实现三调数据向土地三大类的自动化转换,大幅提升国土空间规划和土地变更调查的工作效率。通过封装分类规则为Python函数并集成到ArcGIS Pro脚本工具中,解决了传统手动操作耗时且易错的问题,适用于大规模数据处理场景。

weixin_29081101的博客 304

【Pytorch教程】:卷积神经网络 CNN

Pytorch教程目录 Torch and Numpy 变量 (Variable) 激励函数 关系拟合(回归) 区分类型 (分类) 快速搭建法 批训练 加速神经网络训练 Optimizer优化器 卷积神经网络 CNN 目录Pytorch教程目录什么是卷积神经网络 CNN卷积 和 神经网络池化(pooling)流行的 CNN 结构CNN 卷积神经网络MNIST手写数据CNN模型训练可视化训练全部代码 什么是卷积神经网络 CNN 卷积 和 神经网络 卷积神经网络是如何运作的呢, 举一个识别图片的例子, 我们知

nanke_4869的博客 8092

PyTorch入门与实战指南:基于《深度学习框架PyTorch:入门与实战(第2版)》的完整教程体系

《深度学习框架PyTorch:入门与实战(第2版)》是一本以 PyTorch 1.8 为基础编写的中文教程书,本仓库是它的配套代码与图文讲解,同时也可独立作为一份从零开始的 PyTorch 入门指南。仓库将内容划分为**基本使用(第2~5章)、高级扩展(第6~8章)与实战应用(第9~13章)**三大模块,从环境安装、Tensor 与 autograd 原理,一路延伸到 GAN、Transforme

gitblog_00526的博客 653

【Zephyr 系列 29】低功耗调试指南:电流测量、系统睡眠与功耗分析

Zephyr低功耗调试指南(150字摘要) 针对物联网设备续航需求,本文解析Zephyr低功耗调试方法:1️⃣ 机制:启用PM子系统和tickless idle,配置睡眠策略;2️⃣ 测量:推荐功耗分析仪捕捉μA级电流波动;3️⃣ 优化:管理唤醒源(如GPIO/RTC)、调整BLE广播/连接参数,挂起闲置外设;4️⃣ 分析:建立功耗文档,对比不同模式电流(如待机0.6mA vs广播3.2mA)。强调低功耗需系统性设计,初期即需纳入测试流程。下期将探讨Zephyr OTA升级实现。

hemoparrot的专栏 1180

PyTorch计算机视觉(2)——神经网络模型训练与PyTorch基础

本节介绍了 PyTorch 框架的核心应用。通过线性回归案例,详细阐述了梯度下降算法的工作原理,包括损失函数、学习率、权重更新等关键概念。随后展示了 PyTorch 的自动梯度计算机制,以及 LambdaLR、ReduceLROnPlateau 等多种学习率调度器的使用方法。在工程实践方面,讲解了 Dataset 与 DataLoader 的数据封装、GPU 加速训练、三种模型保存方式。最后以 Sigmoid 激活函数拟合指数曲线为例,说明了非线性建模的必要性。

盼小辉丶的博客 4138

PSIM+PIL+CCS三剑客:手把手教你搞定DSP28335的软硬件联合调试

本文详细介绍了如何利用PSIM、PIL与CCS三款工具,实现DSP28335的软硬件联合调试。通过搭建兼容环境、从PSIM仿真生成PIL代码,再到实战联合调试与问题诊断,手把手指导开发者构建从虚拟模型到实际硬件的完整验证闭环,有效提升电力电子与电机驱动等领域的开发效率与可靠性。

weixin_29183637的博客 186

高德地图 搜索和点击定位

高德地图vue

weixin_45474673的博客 1943

Pytorch搭建神经网络实现房价预测:手把手教你用Pytorch搭建神经网络,然后用起来

教你如何使用Pytorch框架搭建自己的神经网络,然后将其用于数据预测。在这之前,请确保你已经装好了Pytorch环境。小白也能看懂的最速神经网络入门(顺便手搓一个神经网络)现在,你已经会搭建任意全连接神经网络并且将其训练起来了。这样的神经网络可以处理任意的呈向量形式表达的数据。但是,如果你需要处理图像这样的二维数据(输入是一个矩阵)甚至视频这样的三维数据(输入是一个三维张量),那就需要使用到卷积神经网络。

u012880801的博客 359

PWM与光耦的完美联姻:低成本4-20mA转换方案揭秘

本文揭秘了PWM与光耦结合的低成本4-20mA转换方案,适用于工业自动化领域。通过PWM信号控制输出电流,光耦实现电气隔离,该方案成本低廉、电路简单且隔离可靠。文章详细介绍了两种经典电路实现方案,包括四光耦线性模式方案和PWM控制LM317方案,并提供了实战技巧与优化策略,帮助中小企业和电子DIY爱好者构建经济高效的4-20mA转换系统。

weixin_29229055的博客 537

Build a Large Language Model (From Scratch)-appendix A-Introduction to PyTorch

本附录旨在为您提供将深度学习应用于实践并从头开始实现大型语言模型(LLM)所需的技能和知识。PyTorch 是一个流行的基于 Python 的深度学习库,它将是本书使用的主要工具。我将指导您设置一个配备 PyTorch 和 GPU 支持的深度学习工作环境。然后,你将学习张量的基本概念及其在 PyTorch 中的应用。我们还将深入探讨 PyTorch 的自动微分引擎,该功能使我们能够便捷、高效地使用反向传播,而反向传播是神经网络训练的关键环节。本附录旨在为刚接触PyTorch深度学习的读者提供入门指南。尽管它

jsdoulaoula的博客 1228

【FPGA教程案例89】编译码2——使用vivado核实现RS信道编译码

RS编码,又称里所码,即Reed-solomon codes,是一种前向纠错的信道编码,对由校正过采样数据所产生的多项式有效。当接收器正确的收到足够的点后,它就可以恢复原来的多项式,即使接收到的多项式上有很多点被噪声干扰失真。

FPGA/MATLAB学习教程/源码/项目合作开发 3542

ScanNetV2 数据集讲解和选择性下载

写在前面的话: 不可转载!!!!!!!!!!!! ScanNetV2一共1.2T,数据太大本文会简单讲解如何下载自己想要的文件,并附上修改后的下载程序 ScanNetV2:http://www.scan-net.org/ 简介 ScanNetV2的作者是斯坦福大学的博士,其团队通过收集RGB-D的视频序列,通过ipad应用加深传感器而收集的,然后视频会被上传到服务器,并被自动重建。然后,视频会被给到亚马逊 Mechanical Turk,将标注工作众包出去。ScanNetV2是RGB-D数据集,.

qq_35781447的博客 2万+

[deeplearning]深度学习框架torch的概念以及数学内容

转化为张量的形式#其实这样的数据就可以拿去训练了(不过你连模型都没有)

weixin_62697030的博客 495

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

2.数据操作+数据预处理

连接的前提是指定维度外的其他维度相同,连接后指定维度发生延长,其他其他维度保持不变,用dim来指示维度,对应的其实就是形状中的第几个,比如一个张量的形状是(2,3,4,5),另一个是(1,3,4,5),dim=0上进行连接,那么数据就应当是(3,3,4,5)这是数据预处理的重要环节,典型的方法包括插值法和删除法, 其中插值法用一个替代值弥补缺失值,而删除法则直接忽略缺失值。关于多维数组的理解,以三维为例,(2, 3, 4),就是两个二维的3*4数组。2维——矩阵,每一行表示一个样本,每一列表示特征。

m0_56049283的博客 212

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

LSTM时间序列预测实战:从原理到PyTorch实现与调优

时间序列预测是机器学习中的经典任务,旨在基于历史数据推断未来趋势。其核心原理在于捕捉数据中的时序依赖关系,如趋势、周期性和季节性。深度学习通过循环神经网络(RNN)及其变体为这一任务提供了强大工具,其中LSTM(长短时记忆网络)凭借其门控机制,有效解决了长期依赖问题,在工程实践中展现出稳定性和可解释性。LSTM通过输入门、遗忘门和输出门控制信息流,使其能够记忆长期模式并过滤噪声,适用于股票预测、销量分析、能源需求预估等多种场景。本文以航空乘客数据为例,结合PyTorch框架,详细演示了数据预处理、模型构建、

weixin_33708432的博客 366

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

LSTM项目数据预处理与PyTorch DataLoader高效封装实战指南

长短期记忆网络(LSTM)作为循环神经网络的重要变体,在处理时间序列数据和自然语言文本时具有独特优势。其核心原理在于通过门控机制保持序列的时间依赖性,要求输入数据必须维持正确的三维张量结构(batch_size, sequence_length, feature_size)。在深度学习工程实践中,PyTorch的DataLoader工具通过批量处理、数据打乱和并行加载等机制,显著提升了LSTM模型训练的数据供给效率。特别是在处理文本情感分析和时间序列预测等应用场景时,合理的数据封装能有效解决内存溢出和序列长

weixin_33908217的博客 451
上一篇: numpy中三维数组转变成二维数组
下一篇: Pytorch中RNN LSTM的input(重点理解batch_size/time_steps)
ch206265
博客等级 码龄9年 330粉丝 65原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值