克莱因胡-优快云博客

原创机器学习Sklearn系列：（一）基础线性模型

目录线性回归几种正则方法岭回归 Ridge RegressionLASSO 回归Elastic Net 线性回归线性回归是最简单的线性模型，公式如下： J(θ)=12m∑i=1m(hθ(x(i)−y(i))2 J(\theta) = \frac{1}{2m} \sum_{i=1}^m(h_{\theta}(x^{(i)}-y^{(i)})^2 J(θ)=2m1i=1∑m(hθ(x(i)−y(i))2 在sklearn中的函数如下： n_jobs 表示使用几个计算核心，fit_intercept 表示

2021-06-20 21:18:55 648

原创 Pytorch系列:（八）学习率

目录设置网络固定学习率学习率基类Pytorch自带学习率方法StepLRMultiStepLRExponentialLRCosineAnnealingLRReduceLRonPlateauLambdaLR学习率使用方法学习率的调整会对网络模型的训练造成巨大的影响，本文总结了pytorch自带的学习率调整函数，以及其使用方法。设置网络固定学习率设置固定学习率的方法有两种，第一种是直接设置一些学习率，网络从头到尾都使用这个学习率，一个例子如下： optimizer = torch.optim.SGD(mo

2021-06-20 20:37:26 1731

原创 Pytorch系列:（七）模型初始化

目录为什么要进行初始化一些常见初始化方法XavierKaimingLSTM初始化Embedding进行初始化其他通用初始化方法遍历初始化直接使用pytorch内置初始化使用apply进行初始化为什么要进行初始化首先假设有一个两层全连接网络，第一层的第一个节点值为 H11=∑i=0nXi∗W1iH_{11}= \sum_{i=0}^n X_i*W_{1i}H11=∑i=0nXi∗W1i, 这个时候，方差为 D(H11)=∑i=0nD(Xi)∗D(W1i)D(H_{11}) = \sum_{i=0}

2021-06-13 22:44:39 2413 2

原创 Pytorch系列:（六）自然语言处理NLP

目录nn.EmbeddingRNNPytorch中的RNNRNN 中的输入与输出RNNCellLSTMPytorch 中的LSTMLSTM 中的输入与输出LSTMCellGRUPytorch 中的GRU序列模型采样方法完整示例这篇文章主要介绍Pytorch中常用的几个循环神经网络模型，包括RNN，LSTM，GRU，以及其他相关知识点。 nn.Embedding 在使用各种NLP模型之前，需要将单词进行向量化，其中，pytorch自带一个Embedding层，用来实现单词的编码。Embedding层随机初

2021-05-21 21:55:50 1847

原创 Pytorch系列:（五）CNN

目录卷积Conv2dConv1d转置卷积池化函数nn.MaxPool2dnn.AvgPool2dnn.MaxUnpool2d 卷积 Conv2d 2D卷积函数和参数如下 nn.Conv2d( in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros' ) 参数说明

2021-05-16 21:35:20 896

原创各种常用开发工具

目录VS Code中配置远程连接外网内网错误信息Docker 使用下载镜像基本操作创建容器配置远程链接容器管理命令Conda常用命令更新包安装包删除包创建环境环境共享列出已经安装所有环境删除环境本文总结了在深度学习算法研发过程中常用的环境配置方法，包括VS Code 配置SSH，Docker使用，以及Conda常用指令。 VS Code中配置远程连接假设账户为：账户名： abc密码： abc001服务器： 180.180.180.180端口： 1000 外网首先先本地配置ssh-key s

2021-05-10 23:50:40 251

原创 Git & Github使用总结

本文总结了Git 和 Github各种常用操作，便于速查。 Git签名设置配置git签名，注意–global代表系统用户（配置文件存放~/.gitconfig），如果没有的的话，代表的是某一个项目的用户签名（这个时候配置文件的位置是.git/config文件） git config --global user.name "your name"git config --global user.email “your email” 设置VS code 为默认编辑器 git config --global

2021-05-08 21:47:01 150

原创 Pytorch系列:（四）IO操作

目录方法一：存储整个模型方法二：存储模型参数state_dict说明中间状态保存首先注意pytorch中模型保存有两种格式，pth和pkl，其中，pth是pytorch默认格式，pkl还支持pickle库，不过一般如果没有特殊需求的时候，推荐使用默认pth格式保存 pytorch中有两种数据保存方法，一种是存储整个模型，一种只存储参数方法一：存储整个模型 #保存 torch.save(model1, 'net.pth') #读取 model1 = torch.load('net.pth') 方法

2021-05-06 22:33:04 366

原创 Pytorch系列:（三）模型构建

nn.Module 函数详解 nn.Module是所有网络模型结构的基类，无论是pytorch自带的模型，还是要自定义模型，都需要继承这个类。这个模块包含了很多子模块，如下所示，_parameters存放的是模型的参数，_buffers也存放的是模型的参数，但是是那些不需要更新的参数。带hook的都是钩子函数，详见钩子函数部分。 self._parameters = OrderedDict() self._buffers = OrderedDict() self._non_persistent_buffer

2021-04-26 23:43:12 480

原创 Pytorch系列:（二）数据加载

目录DataLoader数据集构建自定义数据集torchvision数据集TensorDataset从文件夹中加载数据集数据集操作数据拼接数据切分采样器SamplerRandomSampler**SequentialSampler****SubsetRandomSampler****BatchSampler**WeightedRandomSampler自定义采样器 DataLoader DataLoader(dataset,batch_size=1,shuffle=False,sampler=None, b

2021-04-26 15:54:24 1197 4

原创 Pytorch系列:（一）常用基础操作

各种张量初始化创建特殊类型的tensor a = torch.FloatTensor(2,3) a = torch.DoubleTensor(2,3) ... 设置pytorch中tensor的默认类型 torch.set_default_tensor_type(torch.DoubleTensor) 更改tensor类型 a.float() 各种常用初始化 torch.randn_like() torch.rand(3,3) #创建 0-1 (3,3)矩阵 torch.randn(3

2021-04-25 18:12:36 513

weixin_43973207的博客