神经网络学习笔记

原创 已于 2023-02-19 21:09:49 修改 · 219 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #python #深度学习

于 2023-02-17 23:26:37 首次发布
文章讨论了为何在优化损失函数时选择负梯度方向，激活函数在神经网络中的必要性，以及反向传播在计算梯度中的作用。还提到了Tensor的概念，线性层的输入输出维度确定，并解释了二分类的BCELoss与多分类的CrossEntropyLoss，指出CrossEntropyLoss已包含softmax激活函数。

1、为什么是“负梯度方向”

因为梯度＞0是递增函数，我们要找到损失函数的最小值，需要递减方向

2、为什么需要激活函数

如果没有激活函数，即使有多层的预测也会回归到同一个公式（类似于没用），所以需要激活，让其多层函数时无法结合同类项

 3、反向传播的作用

反向更新求到了梯度，因为我们梯度更新就是要用这个梯度

 4、Tensor包含什么

 5、Linear的输入输出维度确定

6、二分类的交叉熵损失BCELoss，多分类的交叉熵损失CrossEntropyLoss。当使用CrossEntropyLoss时，最后一层不需要激活，因为CrossEntropyLoss包括了激活函数softmax

 

神经网络和深度学习（学习笔记）
weixin_52471034的博客
09-12 1729
1.1 感知机1.1 感知机当代多数神经网络论著主要使用名为 sigmoid 神经元的神经元模型。但要理解 sigmoid 神经元的来由，需要先了解感知机。感知机接收若干个二进制输入(x1,x2......) ，并生成一个二进制输出，其中，一般来说会使用权重（w1，w2.....）来表示输入的重要程度。神经元的输出究竟是 0 还是 1，则由加权和 于或大于某个阈值来决定。类似于权重，阈值也是实数，且是神经元的一个参数。
吴恩达卷积神经网络学习笔记（一）
qq_45498824的博客
01-15 2697
一.卷积神经网络（一） 1.1 计算机视觉 图片分类和图片识别，目标检测，图片风格迁移 特征向量的维度 卷积神经网络一般应用于计算机视觉领域，由于有的时候图片的像素点很多，导致神经网络输入特征值的维数很多。 1.2 边缘检测示例 弄清一张照片中的物体，利用电脑进行去识别，垂直边缘检测，水平边缘检测。 如下图所示，原图是一个661的矩阵，卷积核是一个331的矩阵，经过卷积后得到一个441的矩阵。（为了检测图像中的垂直边缘，可以构造一个3*3的矩阵，在共用习惯中，在卷积神经网络的.
javascript 神经网络
神器榜
10-08 1303
2、在1951 年,一位名叫Stephen Kleene的数学科学家，他在Warren McCulloch和Walter Pitts早期工作的基础之上，发表了一篇题目是《神经网事件的表示法》的论文，利用称之为正则集合的数学符号来描述此模型，引入了正则表达式的概念。这是可能的，实际上，连我自己都惊讶于开发者对此忽视的态度。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
神经网络学习笔记1——BP神经网络原理到编程实现（matlab，python）
weixin_56619527的博客
01-13 6万+
神经网络学习笔记1——BP神经网络原理到编程实现（matlab，python）
深度学习—神经网络学习笔记
weixin_57672300的博客
10-06 628
无
学习笔记：卷积神经网络（CNN）
最新发布
2401_83327355的博客
10-01 2526
文章的内容是在我看了一些卷积神经网络的网课，以及文章后结合自己的理解，对于卷积神经网络的原理进行总结。参考文章写文章的本意是记录自己学习的过程，内容可以源自于教学视频或者文章，我只是学完进行总结。
BP神经网络入门 学习笔记
Charles
07-06 1486
BP是 Back Propagation 的简写 ，意思是反向传播。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。
脉冲神经网络学习笔记（综述）
sadfassd的博客
11-26 3万+
脉冲神经网络学习笔记，是综述性质的学习笔记
BP神经网络学习笔记
热门推荐
jacksonary的博客
12-24 7万+
在BP神经网络中，输入层和输出层的节点个数都是确定的，而隐含层节点个数是部确定的， 可以根据经验公式来确定： h为隐含层节点的数目，m和n分别是输入层和输出层节点的数目，a为1~10之间的调节常数； 关于隐含层,一般认为,增加隐藏层数可以降低网络误差,提高精度,但也使网络复杂化,从而增加了网络训练时间和出现过拟合的倾向,一般情况,应该考虑3层BP网络(即1个隐含层),靠增加隐含层节点数来获
神经网络学习笔记-神经网络基础（三）
03-31
本笔记主要聚焦于神经网络的基础概念，包括神经元模型、网络结构、激活函数、损失函数以及优化算法等核心元素。 首先，神经元是神经网络的基本构建单元。它模仿生物神经元的工作方式，接收输入信号，通过加权求和后...
卷积神经网络学习笔记
11-16
### 卷积神经网络(CNN)学习笔记 #### 概念与原理 **卷积神经网络**(Convolutional Neural Network, CNN)是一种专门用于处理具有网格结构的数据（如图像）的深度学习模型。CNN因其在图像分类、物体识别等领域的出色...
cs224w 图神经网络 学习笔记（一）Introduction1
08-04
图神经网络学习笔记（一）Introduction 本篇笔记主要介绍了图神经网络的基础知识，包括图的优势、图论的基本概念、网络的定义、图的结构、图的不同形式和图的存储等。 1. 图的优势 图是一种通用语言，能够描述...
[原创]机器学习与神经网络学习笔记1
08-04
- **学习的本质**：讨论神经网络学习的本质，即通过优化权重参数以最小化预测误差来学习模式和规律。 - **神经网络的数学本质**：这部分深入到神经网络的数学基础，可能涉及线性代数、微积分和概率论，解释神经元...
图神经网络学习笔记
m0_57180439的博客
06-18 1502
图神经网络学习笔记
删除单链表中所有值为x的结点
Node_Su的博客
11-15 7961
#include<stdio.h> #include<stdlib.h> typedef struct LNode{ int data; struct LNode *next; }LNode, *LinkList; LinkList List_Init(){ LinkList p = (LinkList)malloc(sizeof(LNo...
传染病模型进行仿真Matlab（仅做Matlab仿真学习与练习，非实际情况与应用）
Node_Su的博客
03-18 6872
传染病模型进行仿真Matlab（仅做Matlab仿真学习联系，非实际情况与应用） 背景： 以某省为例，从2020年1月22日新冠疫情爆发至2020年11月16日刚好300天，从丁香医生获取数据得截止2020年11月16日，某省新冠累计确诊461例，累计死亡1例，累计治愈423例。 假设： 定义 S 为易感者，指未得病者，但缺乏免疫能力，与感染者接触后容易受到感染； 定义 I 为感病者，指染上传染病的人，可以传播给 S 类成员，将其变为 I 类成员； 定义 R 为康复者，...
用MATLAB写一个自动生成福利彩票双色球号码的程序
Node_Su的博客
03-18 5362
用MATLAB写一个自动生成福利彩票双色球号码的程序 规则 红色球：1-33号任选6个 蓝色球：1-16号任选1个 red = randi([1,33],1,6); disp('红色球'); fprintf('%c', 8);%删掉一个换行符 disp(red); fprintf('%c', 8); blue = randi([1,16],1,1); disp('蓝色球'); fprintf('%c', 8); disp(blue); >> Untitled 红色球 5
Python-urllib、BeautifulSoup爬取豆瓣数据
Node_Su的博客
08-18 3067
1、get请求 import urllib.request # 指定url，获取网页数据 import urllib.parse # 解析器 response = urllib.request.urlopen("http://www.baidu.com") print(response.read().decode('utf-8')) # 对获取到的网页源码进行utf-8的解码 2、post请求 # post请求 url="http://httpbin.org/post" 专门用来测试的网址
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值