Siumai's Blog

由于Pytorch默认图片数据格式为[n, c, h, w]、rgb，因此若数据集为[n, h, w, c]格式时需要进行转换：# 为便于处理，先转为numpy数组x = np.array(trainset['train_set_x'])x.shape, type(x)# ((1080, 64, 64, 3), numpy.ndarray)x = x.transpose([0, 3, 1, 2])x = t.as_tensor(x)x.size()# torch.Size([1080, 3

一、定义问题，收集数据集。注意确保数据集特征丰富程度足以作出预测二、定义模型预测性能指标如：平衡分类问题常用精度、接受者操作特征曲线下面积；不平衡分类问题常用精度和召回率；标量回归常用平均绝对误差（MAE）等等。三、确定模型评估方式如：留出法、K折交叉验证、乱序重复K折交叉验证四、数据预处理预处理目标：1、特征值为张量数据2、特征取值较小（0-1区间或正负1区间）3、特征非异质数据4、特征缺失处理为0五、搭建模型1、确定激活函数、损失函数问题类型输出层激活函数损失函数

一、数据集的划分（一）学习目标在理想情况下，通过机器学习，我们希望可以获得一个拥有出色泛化能力的模型。即能够在前所未见的数据样本上举一反三，正确分析预测。（二）假设1、全部数据集作为训练集只要选取模型适当，在若干轮迭代轮次后一定能够得到在训练集上性能优越的模型。但其泛化能力不得而知。2、划分为训练集和测试集增加了测试集部分，在训练集上训练模型，在测试集上评估模型并作为泛化能力的指标。但总是基于同一个测试集进行参数调整，即使可以进一步得到在测试集上表现优秀的模型，但模型在测试集上过拟合不可避免（

一、安装ubuntu18.04 LTS（一）下载ubuntu系统映像Ubuntu 18.04.4 LTS (Bionic Beaver)（二）制作系统安装盘推荐工具：rufus（三）系统安装注意：一定将bios设置中安全启动选项关闭！（四）后续1、ubuntu更换阿里云镜像源2、二、深度学习环境搭建（一）GPU环境搭建参考Tensorflow官方GPU配置指南进行搭建。1、卸载旧显卡驱动及相关组件# 终端输入：sudo apt-get purge nvidia*sudo ap

import numpy as npimport matplotlib.pyplot as pltimport scipy.io as siodef load_dataset(): data = sio.loadmat("/home/yan/下载/datasets/data.mat") return data["X"].T, data["y"].T, data["Xval"...

一、爬取百度图片数据集import requestsimport jsonbase_url = "http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=" \ "result&queryWord=%E7%8C%AB&amp...

import numpy as npimport matplotlib.pyplot as pltimport timedef load_planar_dataset(): np.random.seed(1) m = 400 # number of examples N = int(m/2) # number of points per class D = ...

import numpy as npimport matplotlib.pyplot as pltimport h5py载入数据集函数：载入数据集；返回train_x, train_t, test_x, test_y, ;def load_dataset(): train_set = h5py.File("/home/yan/下载/assignment/datasets/trai...