小猪猪的深度学习之路-3-pytorch的一些参数的笔记

小猪猪爱吃饭

于 2021-02-04 15:27:20 发布

阅读量360

点赞数

分类专栏：小猪猪的深度学习之路小猪猪的实习学习笔记文章标签：深度学习 python pytorch

本文链接：https://blog.youkuaiyun.com/weixin_45639117/article/details/113645651

版权

本文介绍了PyTorch中深度学习的关键参数和操作，包括torch.flatten的使用，nn.Transformer模块详解，permute和transpose函数的区别，卷积维度计算，nn.linear的原理，以及tensor掩码和初始化方法。此外，还讨论了torch.nn.Embedding和torch.cumsum的功能及其应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

torch.flatten(start_dim, end_dim):

默认是将一个tensor拉成一维，例如a.shape=[2,3,4,5,6]，a.flatten().shape即为[23456] , a.flatten(2,4).shape即为[2,3,456]

torch.nn.Transformer

torch.nn.Transformer(d_model=512, nhead=8, num_encoder_layers=6, 
num_decoder_layers=6, dim_feedforward=2048, dropout=0.1, 
activation='relu', custom_encoder=None, custom_decoder=None)