qq_42283621的博客

简介参考地址Tmux 是一款终端复用命令行工具，一般用于 Terminal 的窗口管理。Tmux 拥有如下特性：可以同时开启多个会话和窗口，并持久地保存工作状态。断线后任务能够在后台继续执行。即，用Tmux运行程序，SSH连接断线或者电脑断网后，执行的程序也不会停止，程序的输出也不会清空一般学会session管理使用即可# 安装apt updateapt install tmuxsession管理# (terminal)匿名新建(自动生成整数递增的名称)，进入session将名称

文章目录应用场景方法一示范方法二示范应用场景代码跑在远程服务器上，我们想要获取它的运行情况（例如当前损失、准确率等）方法一：使用SSH连接，从terminal的输出了解（如果SSH断线或断网，正在执行的程序将停止，重新连接需要重新运行，我们可以搭配tmux来保证SSH断线程序不终止）方法二：在程序中将运行数据写入Tensorboard，使用SSH的隧道功能将远程主机的端口映射到本地端口。使用tmux启动两个session，一个session中运行程序，另一个session中启动Tensorboard

使用ssh连接远程服务器时通常使用下面的命令，然后输入。同样，使用pycharm连接远程服务器进行调试仍然使用这些信息，即 。

之前的电脑上为了安装gpu版本的TensorFlow安装了cuDNN7.6.5+CUDA10.1，所以Pytorch的版本选择了cuda10.1对应的1.8.1cuDNN7.6.5+CUDA10.1安装：https://blog.youkuaiyun.com/qq_42283621/article/details/124095937使用Anaconda安装pytorchconda create -n py37torch python=3.7conda activate py37torchpip i..

caffe安装

安装环境# 1. 环境安装pytorch# 2. 安装tqdmpip install ftfy regex tqdm# 3. 安装clippip install git+https://github.com/openai/CLIP.git # 内网使用pip install git+https://github.91chi.fun/https://github.com/openai/CLIP.gitAPI# 1. 返回可以用的模型clip.available_models()

参考视频参考文章文章目录个人总结关于Q K V的shape字典反转和编码解码CrossEntropyLoss(ignore_index=0)ModuleListzeros(1, 0) vs. zeros(1) vs. zeros([])transformer_components使用个人总结关于Q K V的shapeAttention(Q,K,V)=softmax(QKTdk)VQ [lenq,dq]K [lenk,dk]V [lenv,dv]dq=dk，dv可以不与它们相等lenk=lenv，

参考视频参考文章文章目录前言结构图关于Q K V的shape字典反转和编码解码CrossEntropyLoss(ignore_index=0)ModuleListzeros(1, 0) vs. zeros(1) vs. zeros([])transformer_components总体应用使用分函数PositionalEncodingScaledDotProductAttentionMultiHeadAttentionPoswiseFeedForwardNetEncoderLayerEncoderDec

参考视频参考文章文章目录前言结构图关于Q K V的shape字典反转和编码解码CrossEntropyLoss(ignore_index=0)ModuleListzeros(1, 0) vs. zeros(1) vs. zeros([])总体应用使用分函数PositionalEncodingScaledDotProductAttentionMultiHeadAttentionPoswiseFeedForwardNetEncoderLayerEncoderDecoderLayerDecoderget_a.

c3d v1.0安装

在2013年Tomas Mikolov等人提出word2vec之后，2014年，Jeffrey Pennington, Richard Socher, Christopher D. Manning三人提出了GloVe算法。其中，GloVe是Global Vector的缩写。

链接：https://pan.baidu.com/s/12x_6hrEX-rWw1TluQO5UdQ?从下方百度网盘中下载2个压缩包，解压后进入skip-thoughts-master目录。运行data目录下的main.py。

ncoder。

官网githubFaster R-CNN原论文R-CNN Fast R-CNN Faster R-CNN视频讲解Detectron2是Facebook AI Research的下一代库，提供最先进的检测和分割算法。它是Detectron和maskrcnn-benchmark的继承者。它支持Facebook中的许多计算机视觉研究项目和生产应用。演示为ubuntu16.04下cpu版本的安装和使用。

# 安装环境# 1. 环境安装pytorch# 2. 安装tqdmpip install ftfy regex tqdm# 3. 安装clippip install git+https://github.com/openai/CLIP.git # 内网使用pip install git+https://github.91chi.fun/https://github.com/openai/CLIP.gitAPI# 1. 返回可以用的模型clip.available_models(

原论文github将ViT适配到视频，较3D Conv精度很小的下降但速度显著提高，可以用于更长时间的视频（超过一分钟）。Bert的Add&Norm在后面，即Multi-head Attention -> Add&Norm -> Feed Forward -> Add&Norm，所以最后的输出特征是LayerNorm之后的，不需要LayerNorm后再使用。ViT系列的Add&Norm在前面，即Norm -> Multi-head Attention -> Add -> Norm -> Feed Forw

受到的启发创建。Stanford Scene Graph Parser，斯坦福场景图解析器，场景图是一种基于图的图像内容语义表示。它们对图像中的对象、它们的属性和对象之间的关系进行编码。Scene Graph Parser，场景图解析器，将语句（自然语言）解析为场景图（实体及其关系）。

官网使用English Dump of Wikipedia训练的skip-gram model模型提取单词特征向量注意转换前将 单词转为小写，否则可能word2vec失败（即wikipedia2vec中是小写单词与feature vector之间的对应关系）

直接运行测试程序，将自动下载相关模型（上例中为“bert-base-uncased”）

支持向量机是一种二分类模型算法，它的基本模型是定义在特征空间的间隔最大的线性分类器，说白了就是在中间画一条线，然后以 “最好地” 区分这两类点。以至如果以后有了新的点，这条线也能做出很好的分类。W每列代表一个SVM分类器，n个类别共n个SVM分类器，每个SVM分类器输出该样本属于某一个类的概率（即每个SVM均做二分类）原则上每个样本属于每个类别的概率均属于[0, 1]且无和为1的限制。Y按行进行softmax，即每个样本属于各个类别的概率和为1。样本数量b，类别数量n，特征长度d。

前言在执行下面的虚拟环境创建之前，需要先安装Anaconda（最新版本即可）。若创建过程中包的下载速度较慢，可以考虑换源（方法网上搜索）。所用到的所有文件：链接：https://pan.baidu.com/s/1imLTpQYaIjIrjuNKpOX2nQ提取码：e3gkpy37tfgpuPython3.7.13+TensorFlow-gpu2.3.0+cuDNN7.6.5+CUDA10.1安装CUDA10.1打开cuda_10.1.168_425.25_win10.exe自定义安

深度学习服务器多卡使用教程

print(net)仅显示模型内部关于层的信息（不包括任何层的Paramter和自定义的Paramter）import torchfrom torch.nn.parameter import Parameterfrom torch import nnfrom torch.nn import functional as Ffrom torch import optimclass Net(nn.Module): def __init__(self): super(Net

detachdetach()后的tensor与原tensor共享数据内存，当原始tensor在计算图中数值发生反向传播等更新之后，detach()的tensor值也发生了改变。import torchfrom torch import optimfrom torch.nn import Parameterx = torch.tensor(1.)a = torch.tensor(1., requires_grad=True)b = Parameter(torch.tensor(2.))y

在较新的版本中，Variable被弃用，将功能合并给Tensor，所以不用考虑文章目录求导重要理论autogardbackwardno_gardoptimizer更新参数Tensor vs Parameter重要理论代码演示1 默认requires_grad模型绑定查看模型参数绑定和优化求导重要理论从头开始创建的Tensor（例如x = torch.tensor(1.)）称为leaf Tensor（叶张量），依赖其他Tensor计算而来的（例如y = 2 * x）称为non-leaf Tensor

cv2读入形状为HWC，顺序BGRPIL.Image读入形状为HWC，顺序RGBSummaryWriter.add_image默认写入形状为CHW，顺序RGBfrom PIL import Imageimport numpy as npimport cv2from torch.utils.tensorboard import SummaryWriterwriter = SummaryWriter("test_logs")img_path = "hymenoptera/train/ants/

masked_?masked_select# ~对Boolean取反# torch.masked_select(x, mask) 与 x[mask]等效# Returns a new 1-D tensor which indexes the input tensor according to the boolean mask mask which is a BoolTensor.x = torch.randn(3, 4)mask = x.ge(0.5)xOut[5]: tensor([[

【代码】Pytorch Tensor创建。

参考视频参考文章官方API v1.11.0文章目录前言结构图关于Q K V的shape字典反转CrossEntropyLoss(ignore_index=0)ModuleListzeros(1, 0) vs. zeros(1) vs. zeros([])总体实现使用实现使用官方分函数PositionalEncoding实现官方 无ScaledDotProductAttention实现官方 无MultiHeadAttention实现官方PoswiseFeedForwardNet实现官方 无Encode.

RNN: 循环神经网络 short-term memory 只能记住比较短的时间序列的信息，时间长了会遗忘GRU: 折中方案，相对于LSTM更加简单，计算成本更低LSTM: 长短期记忆神经网络 long short-term memory 能够记住比较长的时间序列信息。...

梯度下降优缺点参考博客markdown数学公式参考博客本文仅代表个人观点，才疏学浅，欢迎指正。数学分析复习以下高等数学中梯度的相关知识：z=f(x,y)=1ax2+by2(1)z=f(x,y)=\frac{1}{ax^2+by^2}\tag{1}z=f(x,y)=ax2+by21​(1)∂f∂x=−2ax(ax2+by2)2(2)\frac{\partial f}{\partial x}=-\frac{2ax}{(ax^2+by^2)^2}\tag{2}∂x∂f​=−(ax2+by2)2

均方误差/MSE/二次损失/L2损失MSE=1N∑i=1N(y−yˉ)2如果y和yˉ是向量，那么(y−yˉ)2=(∑i=1m(yi−yiˉ)2)2MSE=\frac{1}{N}\sum_{i = 1}^{N}(y-\bar{y})^2\\如果y和\bar{y}是向量，那么(y-\bar{y})^2=(\sqrt{\sum_{i = 1}^{m}(y_i-\bar{y_i})^2})^2MSE=N1​i=1∑N​(y−yˉ​)2如果y和yˉ​是向量，那么(y−yˉ​)2=(i=1∑m​(yi​−yi​

基本概念单层求导f为激活函数y=f(wx+b)w=[w11w12...w1nw21w22...w2n............wm1wm2...wmn]x=[x1x2...xn]b=[b1b2...bm]y=[f(∑j=1nw1jxj+b1)f(∑j=1nw2jxj+b2)...f(∑j=1nwmjxj+bm)]∂y∂w=[f′(∑j=1nw1jxj+b1)x1f′(∑j=1nw1jxj+b1)x2...f′(∑j=1nw1jxj+b1)xnf′(∑j=1nw2jxj+b2)x1f′(∑j=1nw2j.

土堆视频文章目录前言Jupyter的使用ESC 命令模式双击 编辑模式dir和help使用[Pytorch中Tensor Variable Parameter以及求导运算](https://blog.youkuaiyun.com/qq_42283621/article/details/124921414)激活函数与Pytorch损失函数和Pytorch(重要)完整的训练套路TensorBoardTransformsDatasetDataLoaderModuleF.conv2d vs. nn.Conv2DSequent