talkAC的博客

本文是Google 机器翻译团队在2017 年发表，提出了一个新的简单的网络模型——Transformer。该模型基于纯注意力机制（Attention mechanisms），完全抛弃了RNN和CNN网络结构，在机器翻译任务上取得了很好的效果。目录1 引言2 背景3模型架构3.1编码器和解码器的堆栈编码器：解码器：3.2注意力3.2.1 Scaled Dot-Product Attention3.2.2 Multi-Head Attention3.2.3 Ap..

代码示例Image.crop(left, up, right, below)参数说明left：与左边界的距离up：与上边界的距离right：与左边界的距离below：与上边界的距离代码实例原图（大小：638X800）代码from PIL import ImageIm = Image.open("monkey.jpg")print("原图大小：{}".format(Im.size))box = (25, 150, 625, 750)#裁剪大小New

目录任务详情训练设置网络模型损失函数优化器训练步骤具体代码导入环境导入数据加载数据创建网络损失函数优化器开始训练任务详情利用CIFAR10数据集，基于pytorch环境，训练一个10个类别的小样本分类器CIFAR-10 是由 Hinton 的学生 Alex Krizhevsky 和 Ilya Sutskever 整理的一个用于识别普适物体的小型数据集。一共包含 10 个类别的 RGB 彩色图片：飞机（ airplane ）、汽车（ ...

Conv2d、conv2d是pytorch中进行卷积操作的2个类，虽然只是首字母大小写不同，使用起来方法也不一样，一个是类，一个是函数。1 Conv2dConv2d是torch.nn中的类1.1 初始化CLASStorch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros', device=N

torchvision 是PyTorch中专门用来处理图像的库，这个包中有四个大类。torchvision.datasets torchvision.models torchvision.transforms torchvision.utilstorchvision.datasets 是用来进行数据加载的，PyTorch团队在这个包中提前处理好了很多很多图片数据集。MNIST COCO（用于图像标注和目标检测）(Captioning and Detection) LSUN Classif

1 背景He初始化是何凯明等提出的一种鲁棒的神经网络参数（W）初始化方法，可以保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号的方差大致相等。He初始化对应的是非线性激活函数（Relu 和 Prelu）。2 方法任意层的权重，按照均值为 0，且方差为的高斯分布进行初始化，可以保证每一层的输入方差尺度一致。def initialize_parameters_he(layers_dims): np.random.seed(3) parameters =..

吴恩达机器学习编程作业

1 安装安装直接在pycharm里面搜索下载。File -> Settings -> 搜索pillow -> 安装2 使用from PIL import Imageimport numpy as np2.1 打开图片im = Image.open('test.jpg')'test.jpg'为你的图片路径2.2 修改图片大小out = im.resize((128, 128))2.3 图片转换为数组arr = np.array(..

1 np.dotdot函数为numpy库下的一个函数，主要用于矩阵的乘法运算，其中包括：向量内积、矩阵乘法。用法：A.dot(B) 等价于 np.dot(A,B) ———如果A、B是一维数组,且长度一样，则是执行数组的内积。import numpy as npA=np.array([0,1,2,3,4])B=np.array([1,2,3,4,5])print np.dot(A,B)输出0*1 + 1*2 + 2*3 + 3*4 + 4*5=40如果A是m*n 矩阵

1 过拟合和欠拟合对下面的圆圈和叉进行分类​一般有这2中情况：前一种叫欠拟合，模型太简单了，具有很高的偏差，第二种叫过拟合，具有很高的方差。比较适中的是下面的方法​2 高偏差和高方差一般来说，训练集的误差高是由高偏差引起的，验证集或者测试集的误差高是由高方差引起的，这需要对比来看，举个例子：训练集的误差8%，测试集的误差9%，典型的高偏差，模型欠拟合训练集的误差2%，测试集的误差8%，典型的高方差，模型过拟合3 怎么处理欠拟合，一般是因为模型太简单..

1 什么是梯度下降梯度下降可以对神经网络中的成本函数（cost）进行反向传播，通过不断迭代，更新权值w、b，找到损失函数最低点，最终使我们的模型达到更优的效果。成本函数有几种，不具体介绍，简单记为，这里对模型进行输入X，是模型训练后得到结果，是标准答案，模型训练的目的是使输出的结果更接近标准答案，即要找到损失函数的最低点。下面是交叉熵(cross entropy)成本函数，不具体介绍2 梯度下降为什么能找到最低点这是一个浅层神经网络单个神经元公式化后再加1..

准备做一系列神经网络算法，适合初学入门，是一种笔记的形式，由浅入深，参考吴恩达老师视频。1 神经网络算法与大脑神经元的关系图片来源网络说起神经网络算法，你可能都听过，很神秘，甚至会和大脑神经元联系在一起，但我想说的是他们之间不能说没有联系，只能说毫无关联。当前这都是一些玩笑话，神经网络算法初期受到大脑神经元的启发，但发展到现在没有谁能清楚明白的说明大脑是怎样工作的，所以强说他们之间的关系是毫无根据的，特别是初学者强行要把神经网络算法与大脑神经元联系在一起，除了增加一层神秘感，还有的就是.