zuyuhuo6777的博客

原创 项目指导【精华篇】

原创 python 知识点总结2（持续更新）

1、哈希setset是一个无序且不重复的元素集合。集合对象是一组无序排列的可哈希的值，集合成员可以做字典中的键。集合支持用in和not in操作符检查成员，由len()内建函数得到集合的基数(大小)， 用 for 循环迭代集合的成员。但是因为集合本身是无序的，不可以为集合创建索引或执行切片(slice)操作，也没有键(keys)可用来获取集合中元素的值。set和dict一样，只是没有v...

原创 深度学习知识点-持续更新

1、1*1卷积的作用降低维度和非线性https://zhuanlan.zhihu.com/p/40050371https://www.zhihu.com/question/560249422、2维和三维卷积https://www.zhihu.com/question/2663521893、为什么一个5*5的卷积核可以用两个3*3的卷积核代替，一个7*7的卷积核可以用三个的3...

原创 Tensorflow常见错误（持续更新）

1、出现PermissionDeniedError图中 /media/1 是路径解决方法：将相对路径改为绝对路径参考：https://www.jianshu.com/p/9088ccb5e32c

原创 python中的定制类（形如__xxx__的变量）很有意思，发现很重要（持续更新）

刚开始研究这个，是在看pytorch框架内的具体类的源代码的时候，发现这个很重要，来安利一波 python中除了可以使用内建的类型，如list,tuple,dict，还可以创建自己的对象来实现像这些内建类型的访问，不过需要在定义类的时候对一些魔法方法逐一实现。1、__str__我们先定义一个Study类，打印一个实例：打印出一堆<__main__>,不好看，怎么...

原创 pytorch 常见错误类型(持续更新)

一、TypeError: 'list' object is not callable发生重名现象二、Tessorflow1、出现PermissionDeniedError解决方法：将相对路径改为绝对路径参考：https://www.jianshu.com/p/9088ccb5e32c三、出现下面这个错误参考：https://github.com/py...

原创 python 知识点总结1（持续更新）

1、enumerate()使用对一个列表，既要遍历索引又要遍历元素时，首先可以这样写： list = ['This', 'is', 'a', 'test'] for i in range(len(list)): print(i, list[i])但是上面的方法比较累赘，利用enumerate()会更加直接和优美：list = ['This', 'is', 'a', ...

原创 pytorch 知识点总结(持续更新)

1、argparse的使用 （Python脚本时传入参数的三种方式之一：https://blog.youkuaiyun.com/u012426298/article/details/80263507）import argparse#必备parser = argparse.ArgumentParser(description='PyTorch ImageNet Training')#必备pars...

原创 python常见错误总结，持续更新

1、错误：NameError: name 'raw_input' is not defined原因：原因出在raw_input　，python3.0版本后用input替换了raw_input2、在Python 3.x 里面，iteritems()方法已经废除了。在3.x里用 items()替换iteritems() ，可以用于 for 来循环遍历。3、在python2.x中，d...

原创 Task05 模型集成

5.1 模型融合目标 对于多种调参完成的模型进行模型融合。 完成对于多种模型的融合，提交融合结果并打卡。 5.2 内容介绍模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。 简单加权融合: 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）； 分类：投票（Voting) 综合：排序融合(...

原创 Task04 建模调参

5.1 学习目标了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程 完成相应学习打卡任务5.2 内容介绍线性回归模型： 线性回归对于特征的要求； 处理长尾分布； 理解线性回归模型； 模型性能验证： 评价函数与目标函数； 交叉验证方法； 留一验证方法； 针对时间序列问题的验证； 绘制学习率曲线； 绘制验证曲线； 嵌入式特征选择： La...

原创 Task 03: 数据的特征工程

3.1 特征工程目标 对于特征进行进一步分析，并对于数据进行处理 完成对于特征工程的分析，并对于数据进行一些图表或者文字总结并打卡。 3.2 内容介绍常见的特征工程包括：异常处理： 通过箱线图（或 3-Sigma）分析删除异常值； BOX-COX 转换（处理有偏分布）； 长尾截断； 特征归一化/标准化： 标准化（转换为标准正态分布）； 归一化（抓换...

原创 Task2:数据的探索性分析--EDA

Tip:此部分为零基础入门数据挖掘的 Task2 EDA-数据探索性分析 部分，带你来了解数据，熟悉数据，和数据做朋友。1 EDA目标 EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行...

原创 动手学深度学习-21

1

原创 动手学深度学习-21 模型微调

1

原创 动手学深度学习-20 数据增强

在深度卷积神经网络 里我们提到过，大规模数据集是成功应用深度神经网络的前提。图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出现在不同位置，从而减轻模型对物体出...

原创 动手学深度学习-19 优化算法进阶

Momentum目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差...

原创 动手学深度学习-18 梯度下降

论文：Boyd, S., & Vandenberghe, L. (2004).Convex Optimization. Cambridge, England: Cambridge University Press.%matplotlib inlineimport numpy as npimport torchimport timefrom torch import nn, ...

原创 动手学深度学习-17 凸优化

优化与深度学习优化与估计尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标：训练集损失函数值 深度学习目标：测试集损失函数值（泛化性）%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2lfro...

原创 动手学深度学习-16 Transformer

Transformer在之前的章节中，我们已经介绍了主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）。让我们进行一些回顾：CNNs 易于并行化，却不适合捕捉变长序列内的依赖关系。 RNNs 适合捕捉长距离变长序列的依赖，但是却难以实现并行化处理序列。为了整合CNN和RNN的优势，[Vaswani et al., 2017]【paper:Attention Is ...

原创 动手学深度学习-15 注意力机制与Seq2seq模型

注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，然后将其传递给解码器以生成目标序列。然而这种结构存在着问题，尤其是RNN机制实际中存在长程梯度消失的问题，对于较长的句子，我们很难寄希望于将输入的序列转化...

原创 动手学深度学习-14 机器翻译及相关技术

机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。数据集是英语和法语互译import syssys.path.append('/home/kesci/input/d2l9528/')import collections...

原创 动手学深度学习-11 语言模型

语言模型n元语法数据稀疏:是因为很多数据算出来都是0语言模型数据集读取数据集with open('/home/kesci/input/jaychou_lyrics4703/jaychou_lyrics.txt') as f: corpus_chars = f.read()##返回整个文件print(len(corpus_...

原创 动手学深度学习-10 文本预处理

文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。链接:http://www.gut...

原创 动手学深度学习-09 批量归一化和残差网络

批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。...

原创 动手学深度学习-08 卷积神经网络进阶

深度卷积神经网络（AlexNet）LeNet: 在大的真实数据集上的表现并不尽如⼈意。1.神经网络计算复杂。2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。神经网络发展的限制:数据、硬件AlexNet首次证明了学习到的特征可以超越⼿⼯设计的...

原创 动手学深度学习-05 梯度消失和梯度爆炸

梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。PyTorch的默认随机初始化随机初始化模型参数的方法有很多。在线性回归的简洁实现中，我们使用tor...

原创 动手学深度学习-04 过拟合、欠拟合及其解决方案

一、过拟合、欠拟合及其解决方案过拟合、欠拟合的概念 权重衰减 丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训...

原创 动手学深度学习-02 softmax和分类模型

softmax和分类模型内容包含：softmax回归的基本概念 如何获取Fashion-MNIST数据集和读取数据 softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型 使用pytorch重新实现softmax回归模型softmax的基本概念模型训练和预测在训练好softmax回归模型后，给定任一样本特征...

原创 动手学深度学习-03 多层感知机

多层感知机多层感知机的基本知识 使用多层感知机图像分类的从零开始的实现 使用pytorch的简洁实现多层感知机的基本知识深度学习主要关注多层模型。在这里，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。隐藏层下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。表达公式激活函数上述问...

原创 Task10：图像分类案例2；GAN；DCGAN

一、图像分类

原创 Task09：目标检测基础；图像风格迁移；图像分类案例

一、目标检测基础

原创 Task06：批量归一化和残差网络；凸优化；梯度下降

一、批量归一化和残差网络

原创 Task05：卷积神经网络基础；leNet；卷积神经网络进阶

一、卷积神经网络基础

原创 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

一、机器翻译及相关技术

原创 动手学深度学习-13 循环神经网络进阶

一、

原创 动手学深度学习-12 循环神经网络基础

一、文本预处理详细代码见文初二、语言模型

原创 动手学深度学习-01：线性回归

一、线性回归代码分析部分：

原创 知识分享-pytorch1.3 可以直接调用Tensorboard啦

哈哈哈，今天把Tensorboard研究了一下，发现新版的pytorch 可以直接调用Tensorboard啦，直接上教程官方的教程永远是最好的https://pytorch.org/tutorials/intermediate/tensorboard_tutorial.html该英文教程里面代码的每一步，我都吃透了，后面会更新，代码注释版本请大家多多点赞和评论奥，有不懂...

原创 Matlab画混淆矩阵和ROC曲线（精华）

一、画混淆矩阵clc;clear;close all;fuse_matrix=rand(5)#产生矩阵imagesc(fuse_matrix)set(gca,'xtick',1:5)set(gca,'xticklabel',{'one ','two','three','four','five'},'XTickLabelRotation',45)#设置横轴和横轴标签大小s...