Pytorch 编码

【Pytorch教程】:自编码 (Autoencoder) Pytorch教程目录 Torch and Numpy 变量 (Variable) 激励函数 关系拟合(回归) 区分类型 (分类) 快速搭建法 批训练 加速神经网络训练 Optimizer优化器 卷积神经网络 CNN 卷积神经网络(RNN、LSTM) RNN 循环神经网络 (分类) RNN 循环神经网络 (回归) 目录Pytorch教程目录压缩与解压编码器 Encoder解码器 Decoder 用神经网络如何进行非监督形式的学习. 也就是 autoencoder, 自编码. 压缩与解压 有一个神经网络, 阅读详情

网络定义:

__init__()函数定义网络层数设施

forward() 函数定义具体网络的计算规则

举例:(可print直接看网络结构)

class RNN(nn.Module):
    def __init__(self):
        super(RNN, self).__init__()
        
        self.rnn = nn.RNN(
                input_size=1,
                hidden_size=32, # rnn hidden unit
                num_layers=1,  #rnn 层数
                batch_first = True, #input&output (batch_size,time_step,input_size) 
        )
        self.out = nn.Linear(32,1)
    
    def forward(self, x, h_state):
        # x(batch_size,time_step,input_size)
        # h_state(n_layers,batch,hiddden_size)
        #y (batch_size, time_step,output_size)
        
        r_out,h_state = self.rnn(x,h_state)
        
        outs = []
        for time_step in range(r_out.size(1)):
            outs.append(self.out(r_out[:,time_step,:]))
        return torch.stack(outs, dim=1), h_state
    '''
    
    def forward(self, x, h_state):
        # x(batch_size,time_step,input_size)
        # h_state(n_layers,batch,hiddden_size)
        #y (batch_size, time_step,output_size)
        
        r_out,h_state = self.rnn(x,h_state)
        r_out_reshaped = r_out.view(-1,32) # 2D
        outs = self.linear_layer(r_out_reshaped)
        outs = outs.view(-1, TIME_STEP, INPUT_SIZE) #3D
     '''   
        

    
rnn = RNN()
print (rnn)

网络训练:

选择优化器  optimizer = torch.optim.Adam(rnn.parameters(), lr=LR)

定义损失函数  loss_func = nn.MSELoss()

以及后向训练

loss = loss_func(prediction, y)
optimizer.zero_grad()
loss.backward()
optimizer.step()

举例:

optimizer = torch.optim.Adam(rnn.parameters(), lr=LR)
loss_func = nn.MSELoss()

h_state = None

plt.figure(1,figsize=(12,5))
plt.ion()

for step in range(60):
    start,end = step*np.pi, (step+1)*np.pi
    steps = np.linspace(start, end, TIME_STEP, dtype=np.float32)
    x_np = np.sin(steps)
    y_np = np.cos(steps)
    
    x = torch.from_numpy(x_np[np.newaxis,:,np.newaxis])
    y = torch.from_numpy(y_np[np.newaxis,:,np.newaxis])
    
    prediction,h_state = rnn(x,h_state)
    h_state = h_state.data
    
    loss = loss_func(prediction, y)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    plt.plot(steps, y_np.flatten(), 'r-')
    plt.plot(steps, prediction.data.numpy().flatten(), 'b-')
    plt.draw()
    plt.pause(0.05)
    
plt.ioff()
plt.show()

举的例子为莫烦python的RNN回归代码,所以可以直接使用 nn.rnn 来构建网络。

如果使用 lstm 可用 nn.lstm , 如下

class RNN(nn.Module):
    def __init__(self):
        super(RNN, self).__init__()

        self.rnn = nn.LSTM(     # LSTM 效果要比 nn.RNN() 好多了
            input_size=28,      # 图片每行的数据像素点
            hidden_size=64,     # rnn hidden unit
            num_layers=1,       # 有几层 RNN layers
            batch_first=True,   # input & output 会是以 batch size 为第一维度的特征集 e.g. (batch, time_step, input_size)
        )

        self.out = nn.Linear(64, 10)    # 输出层

    def forward(self, x):
        # x shape (batch, time_step, input_size)
        # r_out shape (batch, time_step, output_size)
        # h_n shape (n_layers, batch, hidden_size)   LSTM 有两个 hidden states, h_n 是分线, h_c 是主线
        # h_c shape (n_layers, batch, hidden_size)
        r_out, (h_n, h_c) = self.rnn(x, None)   # None 表示 hidden state 会用全0的 state

        # 选取最后一个时间点的 r_out 输出
        # 这里 r_out[:, -1, :] 的值也是 h_n 的值
        out = self.out(r_out[:, -1, :])
        return out

rnn = RNN()
print(rnn)
"""
RNN (
  (rnn): LSTM(28, 64, batch_first=True)
  (out): Linear (64 -> 10)
)
"""

如果不使用像RNN和LSTM这样定义的网络,想自己定义网络,可以用 nn.Sequential 一层一层描述

lass AutoEncoder(nn.Module):
    def __init__(self):
        super(AutoEncoder, self).__init__()

        # 压缩
        self.encoder = nn.Sequential(
            nn.Linear(28*28, 128),
            nn.Tanh(),
            nn.Linear(128, 64),
            nn.Tanh(),
            nn.Linear(64, 12),
            nn.Tanh(),
            nn.Linear(12, 3),   # 压缩成3个特征, 进行 3D 图像可视化
        )
        # 解压
        self.decoder = nn.Sequential(
            nn.Linear(3, 12),
            nn.Tanh(),
            nn.Linear(12, 64),
            nn.Tanh(),
            nn.Linear(64, 128),
            nn.Tanh(),
            nn.Linear(128, 28*28),
            nn.Sigmoid(),       # 激励函数让输出值在 (0, 1)
        )

    def forward(self, x):
        encoded = self.encoder(x)
        decoded = self.decoder(encoded)
        return encoded, decoded

autoencoder = AutoEncoder()

 

Pytorch学习之VisionTransformer图片位置编码实现 Pytorch学习之图片位置编码 前提 在VisionTransformer模型中,使用一个二维的卷积核,将图片展开成一个patch序列 patch_embed = nn.Conv2d(in_channels=in_chans, out_channels=embed_dim, kernel_size=patch_size, stride=patch_size) 通过训练一个位置编码参数来学习记录图片的位置信息 num_patches为图片展开的patch数目,加一是包含了cls_token,详细请阅读Vi 阅读详情

相关推荐

Excel地理探测器实战:5分钟搞定空间分异性分析(附完整数据集)

本文详细介绍了如何使用Excel地理探测器插件进行空间分异性分析。通过5分钟实战教程,手把手指导数据格式准备、软件操作及四大探测器(分异及因子、交互作用、风险区、生态探测器)的结果解读,帮助规划师、研究者快速验证地理因素对现象分布的影响,大幅降低GIS分析门槛。

peace的博客 608

Pytorch 自注意力和位置编码

环境使用 Kaggle 里免费建立的 Notebook教程使用李沐老师的 动手学深度学习 网站和 视频讲解小技巧:当遇到函数看不懂的时候可以按 查看函数详解。yi=f(xi,(x1,x1),…,(xn,xn))∈Rd \mathbf{y}_i = f(\mathbf{x}_i, (\mathbf{x}_1, \mathbf{x}_1), \ldots, (\mathbf{x}_n, \mathbf{x}_n)) \in \mathbb{R}^d yi​=f(xi​,(x1​,x1​),…,(xn​,xn​

负负得正的博客 3528

Ferromagnetic soft continuum robots

本文来自机器人领域顶刊,Science Robotics。介绍了一种铁磁软连续体机器人,主要贡献为1)介绍了一个基于磁性微粒和聚合物的软连续体机器人的制造方法,在机器人外表面涂了一层水凝胶,极大地降低了摩擦阻力;2)并研究了在磁场下,不同粒子体积分数下,此机器人的驱动性能;利用手动操控的磁铁,进行了许多实验证明该机器人性能的优异性。 铁磁软连续体机器人 Ferromagnetic soft continuum robots [1] Paper Link Authors: Kim, Yoonho, et al

XU Yangxin的博客 1376

几种常用的位置编码介绍及pytorch实现

我借给你300块与你借给我300块具有完全不同的含义。对于Transformer模型来说,由于Attention模块的无序性(无法区分不同位置的Token),必须加入额外的信息来记录顺序,这里引入了位置编码。位置编码从实现方式上大致可以分为2类:绝对位置编码: 将位置信息融入到输入中相对位置编码: 微调Attention结构,使其可以分辨不同位置的Token。

消极的人永远是对的,积极的人选择勇往直前 3961

高通thermal-engine.conf配置详解:从虚拟传感器到CPU频率控制的完整指南

本文深入解析了高通thermal-engine.conf配置文件的架构与调优方法。从虚拟传感器的加权融合原理,到监控算法与CPU频率控制的多级策略,提供了完整的配置详解与实战调试指南。文章旨在帮助开发者与高级用户掌握底层温控逻辑,在性能与散热间实现精准平衡,并详细介绍了日志调试与场景化配置等高级技巧。

weixin_28327051的博客 496

Keil5编译报错:ARM Compiler Version 5缺失的完整解决方案

本文提供了Keil5编译报错“ARM Compiler Version 5缺失”的完整解决方案。详细介绍了手动安装ARM Compiler Version 5的步骤,包括下载安装包、配置编译器路径及常见问题排查,帮助开发者快速恢复老项目的编译环境。

bb456的博客 946

《动手学深度学习 Pytorch版》 10.6 自注意力和位置编码

在注意力机制中,每个查询都会关注所有的键-值对并生成一个注意力输出。由于查询、键和值来自同一组输入,因此被称为 自注意力(self-attention),也被称为内部注意力(intra-attention)。本节将使用自注意力进行序列编码,以及使用序列的顺序作为补充信息。

AncilunKiang的博客 1415

OpenClaw界面操作手册:命令行与交互模式的正确打开方式

"test": {"description": "运行项目的测试套件","prompt": "请执行项目的测试命令,并分析测试结果。如果有失败的测试,请提供修复建议。},"lint": {"description": "运行代码检查","prompt": "请运行代码检查工具,分析所有警告和错误,并提供修复建议。},"doc": {"description": "为当前文件生成文档","prompt": "请为当前打开的文件生成完整的API文档,包括函数说明、参数描述、返回值类型和使用示例。

gaoxiang_120的专栏 3150

Transformer实现以及Pytorch源码解读(三)-位置编码Position Encoding——史上最容易理解

位置编码的数学定义如下公式所示:从公式上可以看出,在对位置信息进行编码的过程中主要涉及到两个索引:p和i,其中,p表示,某个单次在一个句子中的位置,该位置用索引表示,索引从0开始;其中的i表示,某个数值,在embedding后形成的向量中的位置,该位置也用索引表示,并且索引从0开始。可以搭配下图进行理解。比如0.03这个元素的p=0并且i=0, 而0.07这个元素的p=1,i=1。从inputs到向量矩阵的表示过程可以参考我前面的博客。

铁血军的小博客 5773

【Linux命令大全】006.网络通讯之netstat命令(实操篇)

本文详细介绍了Linux系统中netstat网络诊断命令的实用技巧。主要内容包括:1) 基本功能与参数详解,展示如何查看网络连接、路由表和接口统计;2) 安装方法及基础用法,如查看TCP/UDP连接、显示进程信息和路由表;3) 高级应用技巧,包括监听端口检查、连接状态统计和实时监控。文章通过表格和代码示例,系统性地呈现了netstat在系统管理中的核心应用场景,是网络故障排查和性能监控的实用指南。

yuhuasheng1997的博客 709

相似贴子推荐:基于 LangChain4j + Milvus 的混合检索实战

本文提出了一种基于LangChain4j和Milvus的混合检索方案,用于解决论坛社区中的相似帖子推荐问题。该方案结合稠密向量语义检索和BM25关键词检索的优势,通过RRF算法实现结果融合。系统采用bge-small-zh模型生成语义向量,利用Milvus 2.5+原生支持的BM25功能和混合搜索API,在百万级数据规模下实现50ms内的检索延迟,召回率和精确率分别提升15%和22%。文章详细介绍了从数据预处理、向量化到混合检索的完整实现流程,并探讨了进阶优化方向,为推荐系统和RAG应用提供了高效解决方案。

分享AI、区块链技术及应用,未来已来 90

【动手学习pytorch笔记】35.自注意力和位置编码

自注意力机制和位置编码 理论 自注意力的自不是自己和自己做Attention,之前理解的有问题,是query,key,value都是自己。 yi=f(xi,(x1,x1),...,(xn,xn))∈Rdy_i=f(x_i,(x_1,x_1),...,(x_n,x_n))\in\mathbb{R}^dyi​=f(xi​,(x1​,x1​),...,(xn​,xn​))∈Rd CNN,RNN,Attention比较 但和CNN,RNN不一样,Attention有一个问题是它并没有包含序列的位置信息,比如机器

ymk1998的博客 1241

【CANdelaStudio编辑CDD】-21.2-创建OBD诊断$03,$07,$0A和$04服务以及OBD DTC

案例背景(共11页精讲):创建OBD诊断$03,$07,$0A和$04服务;以及OBD DTC。 在《【ISO15031_OBD诊断】-3.1-$03服务Request emission-related diagnostic trouble codes理论部分https://blog.youkuaiyun.com/qfmzhu/article/details/122157513》, 《【ISO15031_OBD诊断】-7.1-$07服务Request emission-related diagnostic trou

「汽车电子助手」的博客 1700

pytorch标签onehot编码_特征编码方法总结—part1

最近又碰到了高基数类别特征的处理问题,正好也要把相关的解决方案添加到现有的线上机器学习系统里,这里总结一下以后免得又忘记了。 在特征工程里,特征编码是占比很重的一块,在kaggle的结构化数据比赛中,最终帮助选手胜利的关键因素之一往往是高级特征的构造和特征编码(很多时候特征编码也是在构造高级的特征),下面就来总结一下吧。1、labelencoder 标签编码如果是无序...

weixin_33536190的博客 2302

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

pytorch自动编码_用pytorch第2部分从头开始编码ppo 4

pytorch自动编码Welcome to Part 2 of our series, where we shall start coding Proximal Policy Optimization (PPO) from scratch with PyTorch. If you haven’t read Part 1, please do so first.欢迎来到本系列的第2部分,我们将开始使...

weixin_26716079的博客 858

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Pytorch框架之one_hot编码函数

pytorch框架之one_hot编码的实现: 1. 给定分类总数,给指定数据创建one_hot编码 2. 给定数据自动编码

笔岸柳影 2万+

pytorch写独热编码

qq_40178291的博客 3364

PyTorch之对类别张量进行one-hot编码

在PyTorch中如何高效的实现One-Hot编码?让本文给你一些建议。

画心 2630

pytorch标签onehot编码_pytorch实现onehot编码转为普通label标签

pytorch实现onehot编码转为普通label标签label转onehot的很多,但是onehot转label的有点难找,所以就只能自己实现以下,用的topk函数,不知道有没有更好的实现one_hot = torch.tensor([[0,0,1],[0,1,0],[0,1,0]])print(one_hot)label = torch.topk(one_hot, 1)[1].squeeze...

weixin_39891262的博客 1737

Pytorch中,将label变成one hot编码的两种方式

由于Pytorch不像TensorFlow有谷歌巨头做维护,很多功能并没有很高级的封装,比如说没有tf.one_hot函数。本篇介绍将一个mini batch的label向量变成形状为[batch size, class numbers]的one hot编码的两种方法,涉及到 tensor.scatter_ tensor.index_select 使用scatter_获得one hot 编码 ...

我的博客有点东西 7万+

pytorch——实现自编码器和变分自编码器

文章目录数据降维主成分分析(PCA)自编码器(AE)变分自编码器(VAE)pytorch实现AE实现自编码器网络结构实现AE对MNIST数据集的处理VAE实现变分自编码器网络结构实现VAE对MNIST数据集的处理 本文只设计简单的介绍和pytorch实现,数学原理部分请移步知乎“不刷知乎”大佬的文章:半小时理解变分自编码器 本文部分观点引自上述知乎文章。 数据降维 降维是减少描述数据的特征数量的过程。可以通过选择(仅保留一些现有特征)或通过提取(基于旧特征组合来生成数量更少的新特征)来进行降维。降维在许多需

Mr_Wanderer的博客 5065

Pytorch实现自编码网络

下面完整代码在github仓库:传送门 文章目录一、编码网络二、解码网络三、联合解码和编码网络四、开始训练数据五、测试并保存效果图 一、编码网络 import torch import torch.nn as nn class Encoder_Net(nn.Module): def __init__(self): super(Encoder_Net, self).__init__() self.layer1 = nn.Sequential(

liu1073811240的博客 868

pytorch实现自编码

自编码网络是非监督学习领域的一种,可以自动从无标注的数据中学习特征,是一种以重构输入信息为目标的神经网络,它可以给出比原始数据更好的特征描述,具有较强的特征学习能力,在深度学习中常用自编码网络生成的特征来取代原始数据,已取得更好效果。 换句话说,自编码网络的作用相当于PCA并且能获得比PCA更好的效果 这里我们把手写数据集里面的图片特征先压缩,根据压缩出来的特征,对数据进行分类,即无监督学习(无监督学习:不需要标签,只需要用到train_x,不需要用到train_y) import torch.nn as

weixin_43955530的博客 1233

Pytorch将标签转为One-Hot编码

Pytorch将标签转为One-Hot编码。先进行标签映射,要为每个分类建立一个整数索引,对于每个样本的标签,使用整数索引创建一个长度为类别总数的二进制向量。这个向量的所有元素都是0,除了与整数索引相对应的位置,该位置的值为1。应用于分割网络当中,在保留输入标签张量形状的同时,将独热编码张量的最后一个维度设置为分类数num_classes,确保独热编码张量与输入标签张量具有相同的形状。

m0_62919535的博客 3172

Pytorch 常用编码格式

如果PIL图像属于(L,LA,P,I,F,RGB,YCbCr,RGBA,CMYK,1)模式之一,则将[0,255]范围内的PIL图像或 np.ndarray (np.uint8) (HxWxC)转换为 [0.0,1.0] 范围内的浮点张量 (CxHxW)可选地将图像转换为所需的格式。对于 Pytorch 而言,与图像相关的项目,所有的图像读取都是以 [b、c、h、w]格式进行读取操作。image.shape 得到的图像维度:(B,H,W,C),且通道数是:(B、G、R)Pytorch中比较常用。

绿色羽毛 1396
上一篇: 爬虫总结
下一篇: Pytorch环境安装问题解决
donglcode
博客等级 码龄10年 26粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值