MusicDancing的博客

1. 背景说明 在Pytorch 实现情感分类版本基础上进行tensorflow实现。 2. 加载数据 1. 获取数据集 def load_data(data_path): df = pd.read_csv(data_path, engine='python', header=None, encoding='utf-8') df.columns = ['sentiment', 'id', 'date', 'query', 'user_id', 'text'] ...

1. 背景说明 在Pytorch 实现情感分类版本基础上进行优化实现，使用到文本文件reviews.txt和标签文件labels.txt两个数据文件。 1.1 数据集预览 1. reviews.txt 此文件是一个包含25001条句子的长文本。 print(len(text)) # 33678267 个字符 2. labels.txt 2. 显示前5条数据： 3. 数据分布(各个类别占比) print(dataset[0].value_cou...

1. 背景说明 本实验使用Twitter上发布的数据集Sentiment140，包含160W条记录，其中{0: 负面；2: 中性；4: 正面}

11 22

1. 相同点： 1. 都和x共享同一块数据； 2. 都和x的计算历史无关； 3. requires_grad = False。 2. 不同点： x.detach()更安全

涉及单分类，多分类问题，共计5W多样本，43个类，包括一个注释的标签 数据源：German Traffic Sign Benchmarks

1. 绘制各种曲线 1. 损失函数曲线 def plot_loss_cure(epoch_list, loss_list): plt.plot(epoch_list, loss_list) plt.xlabel('Number of Epoch') plt.ylabel('Loss') plt.title('RNN') plt.show() epoch_list = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] loss_list = [0.1

1. model.train() train模式下，dropout层会按照设定的参数p设置保留激活单元的概率； BN层会继续计算数据的mean和var等参数并更新。 2. model.eval() 在validation时，会使用model.eval()切换到测试模式，通知dropout层和BN层在train和val模式间切换。 dropout层会让所有的激活单元都通过，而BN层会停止计算和更新mean和var，直接使用在训练阶段学到的me...

1. 数据集简介 CIFAR10数据集共有6W张彩色图像，图像大小是32*32*3的，共计10个类，每类6K张图片。 其中训练集5W张，构成了5个训练批，每一批1W张，但一个训练批中的各类图像并不一定数量相同，总的来看训练集，每一类都有5K张；测试集1W单独构成一批，其来自10个分类，每类随机取1K张。 ...

1. 计算模型训练时间 import time start = time.time() # 输出训练所耗总时间 time_all = time.time() - start print('Training complete in {:.2f}m | {:.2f}s'.format(time_all // 60, time_all % 60))

11 import time from torch.utils.tensorboard.writer import SummaryWriter # 获取Tensorboard的writer def tb_writer(): timestr = time.strftime('%Y%m%d_%H') writer = SummaryWriter('../logs/' + timestr) return writer if __name__ == "__main__": w

1. 常用操作 1.1 GPU判断 # 判断是否有GPU，若有则进行部署 if torch.cuda.is_available(): device = torch.device('cuda') else: device = torch.device('cpu') x = torch.tensor([1, 2, 3], device=device) 2. 分布 2.1 指定分布的tensor # 值在0-1之间的均匀分布 y = torch.rand(5) # tensor...

1. 数据集简介 下载地址： https://www.kaggle.com/paultimothymooney/chest-xray-pneumonia/download 数据集目录展示： 数据集大小： NORMAL PNEUMONIA train 1342 3876 val 9 9 test 235 391 样本展示： 2. 主要流程 ...

1. MNIST数据集简介 包含了6W训练样本和1W条测试样本，共10类(0-9)，每张图片都做了尺寸归一化，都是28*28大小的灰度图。 2. 模型训练 2.1 超参数定义 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms # 超参数定义 EPOC...

2017年1月，由Facebook人工智能研究院(FAIR)基于Torch推出了PyTorch，它是一个开源的Python机器学习库，用于NLP、CV等应用程序。 优点： 1. 相当简洁且高效快速的框架，入门简单； 2. 动态计算图：提供了一个可以在运行时构建计算图（甚至在运行时可更改）的一个框架； 3. 多gpu支持，自定义数据加载器和简化的预处理器。 安装地址：https://pytorch.org ...