
深度学习
文章平均质量分 61
RealWeakCoder
csdn博客不再更新,后续搭建个人博客平台
展开
-
【深度学习笔记】Hopfield神经网络
Hopfield神经网络是一种循环神经网络模型,由一组互相连接的神经元组成。其具有如下特征:所有神经元互相连接且不分层。每个神经元既是输入单元又是输出单元。具有反馈连接特性,不同神经元之间连接权重对称,神经元和自身没有反馈相连,即神经元集合具有对称性和反自反性。Hopfield神经网络分为离散型(DHNN)和连续型(CHNN)Hopfield神经网络提出的时间要比BP神经网络要早,其利用动力学演变对输入进行迭代,最终得到一个稳态值。稳定状态称为吸引点或吸引子。Hopfield网络定义了能量原创 2021-02-19 11:49:29 · 1801 阅读 · 0 评论 -
《Deep Residual Learning for Image Recognition》ResNet论文翻译
《Deep Residual Learning for Image Recognition》作者:Kaiming He,Xiangyu Zhang,Shaoqing Ren,Jian Sun摘要神经网络越深,训练越困难。我们提出了一种减轻网络训练负担的残差学习框架,这种网络比以前使用过的网络层次更深。我们把层重定义为以本层输入为参考进行学习的残差函数,而不是不以本层输入为参考进行学习的函数。我们提供了全面的经验数据表明这些残差网络更容易优化并且可以通过增加深度来提升精度。我们在ImageNet数据集上翻译 2021-01-27 11:28:32 · 736 阅读 · 0 评论 -
简单理解迁移学习
在实际场景中,经常碰到的问题是标注数据的成本十分高,无法为一个目标任务准备足够多相同分布的训练数据。如果有一个相关任务已经有了大量的训练数据,虽然这些训练数据的分布和目标任务不同,但是由于训练数据的规模比较大,我们假设可以从中学习某些可以泛化的知识,那么这些知识对目标任务会有一定的帮助。入如何将相关任务的训练数据中的可泛化知识迁移到目标任务上,就是迁移学习(Transfer Learning)需要解决的问题。迁移学习指两个不同的领域的知识迁移过程,利用源领域(Source Domain)中学到的原创 2021-01-24 19:18:24 · 807 阅读 · 3 评论 -
Fully Convolutional Networks for Semantic Segmentation(FCN)论文翻译
《Fully Convolutional Networks for Semantic Segmentation》作者:Jonathan Long,Evan Shelhamer,Trevor Darrell摘要卷积网络是在产生特征分层结构方面强有力的视觉模型。我们的实验证明卷积网络本身经过端到端、像素到像素地训练,在语义分割方面超过了最新技术。我们的核心观点是建立“完全卷积”的网络,该网络可以接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细说明了全积网络的空间,解释了它们在空翻译 2021-01-24 14:09:55 · 354 阅读 · 0 评论 -
密集预测/Dense Prediction
Pixelwise dense prediction is the task of predicting a label for eachpixel in the image来自于卷积神经网络在图像语义分割(semantic image segmentation)的应用。图像分割需要判定一张图片中特定区域的所属类别。这个图像里有什么?它在图像中哪个位置?更具体地说,图像语义分割的目标是将图像的每个像素所属类别进行标注。因为是预测图像中的每个像素,这个任务通常被称为密集预测(dense pre.转载 2021-01-23 19:25:56 · 4363 阅读 · 0 评论 -
AlexNet论文思维导图与代码实现
本博客资源已上传至github:https://github.com/realSherlockNovitch/AlexNet-paper_mindmapping_and_Coding论文全名:ImageNet Classification with Deep ConvolutionalNeural Networks思维导图(github上可下载):代码与训练参数亦在前述github上...原创 2021-01-22 23:41:08 · 301 阅读 · 0 评论 -
【深度学习笔记】过拟合与欠拟合
过拟合简答来说即模型在训练集上错误率较低,但在未知数据(包括测试集)上错误率很高。欠拟合简单来说是模型不能很好的拟合训练集,在训练集上就已经错误率较高。模型复杂度是影响拟合的一个因素。模型复杂度较低就会出现欠拟合的现象。模型复杂度较高,导致与训练集拟合非常好,模型参数训练出来是十分适合训练集的,可能出现过拟合的现象。影响欠拟合和过拟合的另⼀个重要因素是训练数据集的大小。⼀般来说,如果训练数据集中样本数过少,特别是比模型参数数量(按元素计)更少时,过拟合更容易发生。此外,泛化误差不会随训练数据集⾥样本原创 2020-07-25 19:54:01 · 886 阅读 · 0 评论 -
【深度学习笔记】常见损失函数
损失函数是一个非负实数函数,用来量化模型预测和真实标签之间的差异0-1损失函数:L(y,f(x,θ))=˙{0(ify=f(x,θ))1(else)L(y,f(x,\theta))\dot= \begin{cases} 0(if y=f(x,\theta))\\ 1 (else)\end{cases}L(y,f(x,θ))=˙{0(ify=f(x,θ))1(else)0-1损失函数可以客观的评价模型的好坏,但缺点是数学性质不好,常用连续可微的损失函数替代平方损失函数:L(y,f(x,θ))=˙原创 2020-07-25 19:05:19 · 813 阅读 · 0 评论 -
【深度学习笔记】机器学习模型
一、模型线性模型线性模型的假设空集为一个参数化的线性函数族,即f(x,θ)=˙wTx+bf(x,\theta)\dot=w^Tx+bf(x,θ)=˙wTx+b,其中参数θ\thetaθ包含的权重向量www和偏置bbb非线性模型广义的非线性模型可以写为多个非线性基函数ϕ(x)\phi (x)ϕ(x)的线性组合f(x,θ)=˙wTϕ(x)+bf(x,\theta)\dot=w^T\phi (x)+bf(x,θ)=˙wTϕ(x)+b二、学习准则损失函数损失函数是一个非负实数函数,用来量化模型预测和原创 2020-07-25 18:52:34 · 236 阅读 · 0 评论 -
【深度学习笔记】机器学习基本概念
特征:待学习对象的属性标签:对待学习对象的某一指标的预测样本:标记好特征以及标签的的待学习对象数据集:一组样本构成的集合训练集:用来训练模型的样本集合测试集:用来检验模型好坏的样本集合特征向量:表示一个待学习对象所有特征构成的DDD维向量x=˙[x1,x2,...,xD]Tx\dot=[x_1,x_2,...,x_D]^Tx=˙[x1,x2,...,xD]T假设训练集DDD由NNN个样本组成,其中每个样本都是独立同分布的,即独立地从相同的数据分布中抽取的,记为D=˙D\dot=D=.原创 2020-07-12 11:27:55 · 424 阅读 · 0 评论 -
【深度学习笔记】关于神经网络,你需要了解的基础知识
受到人脑神经系统的启发,早期的神经科学家构造了一种模仿人脑神经系统的数学模型,称为人工神经网络。简称神经网络。在机器学习领域,神经网络是指由很多人工神经元构成的网络结构模型,这些人工神经元之间的连接强度是可学习的参数。一、人脑神经网络典型的神经元结构大致分为细胞体和细胞突起:细胞体中的神经细胞膜上有各种受体和离子通道,胞膜的受体可与响应的化学物质神经递质结合,引起离子通透性及膜内外电位差发生改变,产生相应的生理活动:兴奋或抑制细胞突起是由细胞体延伸出来的细长部分,又可分为树突和轴突树突可以接受刺原创 2020-07-12 10:49:28 · 732 阅读 · 0 评论 -
【深度学习笔记】机器学习分类
目录一、 浅层学习二、表示学习局部表示学习分布式表示学习三、深度学习端到端学习机器学习(Machine Learning,ML)指从有限的观测数据中学习出具有一般性的规律,并利用这些规律对未知数据进行预测的方法。一、 浅层学习关注点:预测模型(函数)一般需要首先将数据表示为一组特征,特征的表现形式一般有连续的数值、离散的符号。特征将被输入到预测模型,由模型输出预测结果。浅层学习的一个重要特点是不涉及特征学习,其特征主要靠人工经验或特征转换方法来抽取。浅层学习模型一般会包含以下几原创 2020-07-12 10:20:02 · 438 阅读 · 0 评论