来自新世界、-优快云博客

原创 U-net(2)

Unet网络：利用DoubleConv, Down, Up, OutConv四个模块组装U-net模型，其中Up即右侧模型块之间的上采样连接（Up sampling）部分，注意U-net的跳跃连接（Skip-connection）也在这部分（torch.cat([x2, x1], dim=1)）。因为每个子块内部的两次卷积（Double Convolution），所以上采样后也有DoubleConv层。 PyTorch模型定义的方式 1.Module 类是 torch.nn 模块里提供的一个模型构造类 (n

2022-03-30 19:51:40 3251 2

原创 pytorch基础（3）【sigmoid,激活函数，优化器】

sigmoid函数 logistic function是一种sigmoid函数和Linear的区别 sigmoid函数是不需要参数的，所以不用对其初始化（直接调用nn.functional.sigmoid即可）。另外loss函数从MSE改用交叉熵BCE：尽可能和真实分类贴近。 # -*- coding: utf-8 -*- """ Created on Mon Oct 18 08:35:00 2021 @author: 86493 """ import torch import torch.nn

2022-03-27 22:20:14 3824

原创 pytorch基础（2）【代码例子】

线性模型 # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt x_data = [1.0, 2.0, 3.0] y_data = [2.0, 4.0, 6.0] def forward(x): return x * w def loss(x, y): y_pred = forward(x) return (y_pred - y) * (y_pred - y) # 保存权重 w_l

2022-03-27 20:43:53 1407

原创 Self-attention

Self-attention 然后你Input几个Vector,它就输出几个Vector,比如说你这边Input一个深蓝色的Vector,这边就给你一个另外一个Vector。这边给个浅蓝色,它就给你另外一个Vector,这边输入4个Vector,它就Output 4个Vector。这4个Vector,他们都是考虑一整个Sequence以后才得到的。 Self-Attention不是只能用一次,你可以叠加很多次。所以可以把Fully-Connected的Network,跟Self-Attent

2022-03-18 17:58:06 468

原创深度学习笔记（2）

1.访问元素比如数组： [[1, 2, 3, 4], [5 ,6, 7, 8], [9,10,11,12], [13,14,15,16]] 访问一个元素：[1,2] （7）访问一行元素：[1,:] （[5,6,7,8]）访问一列元素：[:,1]（2，6，10，14）子区域：[1:3,1:]（表示第1行到第3行的开区间结束，即第1行和第2行，第1列开始到后面所有列）子区域：[::3,::2]（表示把第0行和第3行拿出来，再把第0列和第2列拿出来） xyz19971105..

2022-03-15 15:32:27 1261

原创 U-Net

(1)使用全卷积神经网络。(全卷积神经网络就是卷积取代了全连接层，全连接层必须固定图像大小而卷积不用，所以这个策略使得，你可以输入任意尺寸的图片，而且输出也是图片，所以这是一个端到端的网络。整个网络有23层卷积层。网络的左边是收缩网络，右边是扩张网络。收缩网络由多组卷积神经网络组成，每组由两层3x3 unpadded卷积层组成，每个卷积层后使用ReLU。每组之间使用size=2，stride=2的maxpooling进行下采样。每组第一次卷积时，将特征图通道数增加一倍。扩张网络的也是由多组...

2022-03-14 15:11:01 7426

原创深度学习笔记（1）（CNN）

1.Loss损失函数的作用损失函数用来评价模型的预测值和真实值不一样的程度，深度学习训练模型的时候就是通过计算损失函数，更新模型参数，从而减小优化误差，直到损失函数值下降到目标值或者达到了训练次数。均方误差mean squareerror（MSE）：MSE表示了预测值与目标值之间差值的平方和然后求平均 L2范数：L2损失表示了预测值与目标值之间差值的平方和然后开更方，L2表示的是欧几里得距离。平均绝对误差meanabsolute error(MAE )：MAE表示了预测值与目标值之..

2022-03-10 22:00:08 2390

原创安装tensorflow，必备命令

1.查看自己的python版本 import platform print(platform.python_version()) ================================ python -V 2.激活虚拟环境 source activate env_name source activate tensorflow source deactivate #关闭虚拟环境 3.检测anaconda版本 conda --version conda info --

2021-12-20 23:25:21 452

原创 Transformer（认真）

看不懂，好难啊！！！详情请参考 https://andyguo.blog.youkuaiyun.com/article/details/119753719 一、RNN和Transformer的不同二、从整体宏观来理解 Transformer 三、从细节来理解 Transformer 3.1 Transformer 的输入 3.2Encoder(编码器) 3.3 Self-Attention 整体理解四、Self-Attention 的细节 4.1 计算Query 向量，Key 向.

2021-11-22 22:16:41 3134 1

原创 Transformer

胡乱写的！！！！！！目录一、初探Encoder-Decoder 1.Encoder 2.回到transformer的图二、Decoder – Autoregressive (AT) 1、Decoder内部结构 1）带Masked的MHA 三、Decoder – Non-autoregressive (NAT) 四、Encoder-Decoder 五、Training 六、训练的Tips 一、初探Encoder-Decoder 一般的seq2seq’s model分成2

2021-11-21 22:56:59 830

原创卷积神经网络学习

一、CNN架构一、复杂的Input时二、What is the output? 这种情况是说输入和输出一样数量。当你的模型,看到输入是四个向量的时候,它就要输出四个Label,而每一个Label,它可能是一个数值,那就是Regression的问题,如果每个Label是一个Class,那就是一个Classification的问题三、Sequence Labeling 四 Self-Attention 1.怎么产生b^1这个...

2021-11-21 17:08:22 1428 1

原创类神经网络

目录一、鞍点为何要知道到底是卡在local minima,还是卡在saddle point呢如何判断local minima与saddle point呢？ 1.泰勒展开 2.Hession矩阵 3.史上最废的network 二、saddle point（鞍点）三、Optimization with Batch 1.Small Batch v.s. Large Batch “Noisy” update is better for tra...

2021-11-20 22:25:09 761

原创机器学习笔记（1）

第一项是L ( θ ′ ) L(θ')L(θ ′ ),就告诉我们说,当θ θθ跟θ ′ θ'θ ′ 很近的时候,L ( θ ) L(θ)L(θ)应该跟L ( θ ′ ) L(θ')L(θ ′ )还蛮靠近的第二项是( θ − θ ′ ) T g (θ-θ')^Tg(θ−θ ′ ) T g ———————————————— 版权声明：本文为优快云博主「山顶夕景」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csd

2021-11-14 23:29:01 2067