深度学习（2）——深层神经网络

最新推荐文章于 2023-10-25 17:10:50 发布
最新推荐文章于 2023-10-25 17:10:50 发布
阅读量235 收藏
点赞数
分类专栏： 深度学习 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_22764567/article/details/85331113
版权
本文深入探讨神经网络中的关键概念，包括激活函数的作用、不同类型的损失函数（如交叉熵、均方误差）在分类与回归问题中的应用，以及自定义损失函数的方法。此外，还介绍了神经网络参数优化的过程，包括前向传播与反向传播算法，以及如何使用梯度下降法更新参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

 

一、概念

二、损失函数

1. 分类问题：

2. 对于回归问题，

3.自定义损失函数

三、参数优化

一、概念

1.激活函数实现去线性化

加了激活函数和偏置项

tensorflow提供了其中不同的非线性激活函数，也可以自定义

多层网络解决抑或问题

二、损失函数

神经网络模型的效果以及优化的目标是通过损失函数来定义的

1. 分类问题：

判断输出向量与期望的向量的距离：交叉熵：刻画两个概率分布之间的距离

Softmax将神经网络的输出变成了一个概率分布

 

2. 对于回归问题，

最常用损失函数韦均方误差MSE(mean squared error)

 

3.自定义损失函数

三、参数优化

神经网络的优化分为两个阶段：1.通过前向传播算法计算得到预测值，并与真实值求差 2. 根据反向传播函数计算损失函数对每一个参数求梯度，再根据梯度和学习率使用梯度下降法更新每一个参数 

深度学习笔记——卷积神经网络CNN
haopinglianlian的博客
11-23 1335
本文详细介绍面试过程中可能遇到的卷积神经网络CNN知识点。
【机器学习】——神经网络与深度学习
weixin_51658186的博客
06-15 6602
设有P个样本，我们不知道它们实际上应该分成多少类，为保险起见，可假设M=P（P个样本分成P类），这样，当N
深度神经网络预测模型,人工神经网络回归分析
aifamao3的博客
09-18 2249
你这应该不是数字图像处理，应该是一种包含其它信息的特殊图片，我的方向是高光谱，如果是结合高光谱图像技术的话，要结合一定的化学计量学方法，具体是哪个化学分式影响水果糖度不同，主要应用的工程软件，MATLAB比较通用一点，也好沟通，特征提取后，建立一个数学的预测模型，把你的图片加载到MATLAB的算法内，一步步跑出来，这就是你的程序侧。而最后输出层的值和实际变量的值会有误差，神经网络会通过不断地训练，更改权重和偏置的值来使误差尽可能的小，当误差小到一定程度，该神经网络的回归预测就算成功了。
2. 深层神经网络(Deep Neural Networks)
FionaDong的博客
01-07 1328
2.1 深层神经网络（Deep L-layer neural network） 有一个隐藏层的神经网络，就是一个两层神经网络。当我们算神经网络的层数时，我们不算输入层，我们只算隐藏层和输出层。 2.2 为什么使用深层表示？（Why deep representations?） 首先，深度网络究竟在计算什么？如果在建一个人脸识别或是人脸检测系统，深度神经网络所做的事就是，当输入一张脸部的照片，然后可以把深度神经网络的第一层，当成一个特征探测器或者边缘探测器。在这个例子里，会建一个大概有20个隐藏单元的深
机器学习速成课程MLCC（10）--训练神经网络（编程练习）
dh_nwu的博客
03-07 1014
神经网络简介这里使用到了python2.7、TensorFlow1.6以及IPython、numpy、pandas等一系列python的数据处理包。pandas的快速入门教程在这里学习目标：使用 TensorFlow DNNRegressor 类定义神经网络 (NN) 及其隐藏层训练神经网络学习数据集中的非线性规律，并实现比线性回归模型更好的效果在之前的练习中，我们使用合成特征来帮助模型学习非线性...
python 深度学习（2） -- 神经网络回归模型
ouprince
07-12 2万+
我们使用波士顿数据构建我们的神经网络回归模型，样本包含了 14 个变量的 506 个例子/观察 结果。波士顿数据包含在 sklearn 包中 from sklearn import datasets boston = datasets.load_boston() x,y = boston.data,boston.target 然后我们将数据进行标准化，在传统的统计分析中，通常将变量进行标准...
基于深度神经网络(DNN)的数据回归预测，深度全连接神经网络，多变量 输入模型，要求2018及以上版本。评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。
机器学习-深度学习
04-17 492
基于深度神经网络(DNN)的数据回归预测，深度全连接神经网络，多变量 输入模型，要求2018及以上版本。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 11万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
【深度学习】吴恩达课程笔记(二)——浅层神经网络、深层神经网络
最新发布
urge的博客
10-25 620
变量名变量含义l层数n[l]l 层的单元数。
吴恩达【深度学习】笔记03——深层神经网络（Deep Neural Networks）
Serendipity_zyx的博客
10-01 1256
文章目录一、深层神经网络（Deep L-layer neural network）二、前向传播和反向传播（Forward and backward propagation）1. Forward propagation2. Backward propagation3. Building blocks of deep neural networks三、核对矩阵的维数（Getting your matrix dimensions right）四、为什么使用深层表示？（Why deep representation
深度学习实践（二）——多层神经网络
Solitarily的博客
04-07 1042
一、准备 为了更深入的理解神经网络，笔者基本采用纯C++的手写方式实现，其中矩阵方面的运算则调用opencv，数据集则来自公开数据集a1a。 实验环境： Visual studio 2017 opencv3.2.0 a1a数据集 本文紧跟上篇文章深度学习实践（一）——logistic regression。 二、神经网络基础 标准的神经网络结构如下图所示，其实就是上文log...
神经网络深层网络实现
anmin1992的专栏
03-27 153
神经网络深层网络实现 步骤 随机初始化数据 对于权重\(W^{[l]}\), 一般采用\(np.random.randn(l, l - 1) * \sqrt{{1\over{dimension\ of\ previous\ layer}}}\) 如果当前的\(l\)层的激活函数为\(ReLU\), 则使用\(He\ initialization\), 也就是\(np.random.r...
动手学深度学习（一）：回归和多层感知机
weixin_43590088的博客
02-14 1618
线性回归 1、线性回归与分类 线性回归输出是一个连续值，在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。 分类问题中模型的最终输出是一个离散值。图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。 2、模型 设房屋的面积为 x1 ，房龄为 x2 ，售出价格为 y 。需要建立基于输入 x1 和 x2 来计算输出 y 的表达式：y’=x1w1+x2w2+b （w1 和...
4.深层网络
Miracle_520的博客
06-24 1819
深度学习的两个重要特性：多层和非线性。 线性模型的局限性： 任意线性模型的组合仍然还是线性模型。 激活函数实现去线性化。 多层网络解决异或问题。 交叉熵刻画的是两个概率分布之间的距离，交叉熵值越小，两个概率分布越接近。交叉熵函数是不对称的（H(p|q)=H(q|p)），它刻画的是通过概率分布q来表达概率分布p的困难程度。p代表正确答案，q代表预测值。 # 对张量中所有元素依次求对数 tf.lo...
深度网络概览
周红伟讲AI
09-04 1140
 深度网络概览 From Ufldl Jump to: navigation, search Contents [hide] 1 概述2 深度网络的优势3 训练深度网络的困难 3.1 数据获取问题3.2 局部极值问题3.3 梯度弥散问题 4 逐层贪婪训练方法 4.1 数据获取4.2 更好的局部极值 5 中英
深度学习计算：层和块（笔记）
a1_2_3_4__5的博客
02-09 1179
模型构造 回顾多层感知机，简单实现 import torch from torch import nn from torch.nn import functional as F net = nn.Sequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256, 10)) X = torch.rand(2, 20) net(X) nn.Sequential 相当于定义了一个特殊的Modle。任意的层和神经网络都应该是Modle的一个子类。 自定义块实
深度学习_常用基本函数
liming_2464的博客
07-22 1106
参考书：深度学习入门：基于Python的理论与实现 源代码 -> common -> functions.py # coding: utf-8 import numpy as np def identity_function(x): # 恒等函数 return x def step_function(x): # 阶跃函数（P44）：输入数组x，大...
深度置信网络 Deep belief network
None_Pan的博客
06-18 3661
随着机器学习的发展和深度学习的到来，引入了一些工具和图形表示来关联巨大的数据块。 深度信仰网络是本质上具有生成性的图形表示，即，它会生成可为当前案例生成的所有可能值。 它是通过机器学习和神经网络将概率和统计融合在一起的。 深度信任网络由具有值的多层组成，其中各层之间存在关系，但值之间没有关系。 主要目的是帮助系统将数据分类为不同的类别。 深度信念神经网络如何演变？ 第一代神经网络使用的感知器通过考虑“重量”或预饲喂物的特性来识别特定物体或其他物体。但是，感知器只能在基本级别上有效，而对先进技术则无济于事。为
深度网络的训练过程与方法
biubiusion的博客
03-28 3240
第一步：自下而上的无监督学习 （这一步是网络参数初始化得过程，区别于传统神经网络初值随机初始化，深度学习模型通过无监督学习输入数据进行初始化，因此这个初值更接近全局最优，从而能够取得更好的效果。） 逐层构建单层神经元，每层采用wake-sleep算法进行调优，每次仅调整一层，逐层调整（这个过程看作是一个feature learning的过程，是和传统神经网络区别最大的部分）； wake-sleep...
深度学习资源包：神经网络与反向传播算法
总结来说，这份资源是一个非常全面的深度学习学习材料包，不仅覆盖了神经网络的基础理论，还包括了实际的机器学习源码和案例，特别是涉及到了深度学习的核心算法——反向传播算法，非常适合想要深入了解和实践深度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值