八股文——机器学习基础激活函数

ReLU：非线性激活函数的解析与特性
原创 已于 2024-06-11 21:09:50 修改 · 343 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

于 2024-03-22 00:01:19 首次发布
本文讨论了ReLU作为非线性激活函数的特点，包括它是分段线性函数、理论上可以逼近任意非线性、关键性质如可微性、单调性以及对初始参数设置的影响，以及输出值范围对优化稳定性的影响。

常见的激活函数

为什么说relu是非线性激活函数？

1.relu是分段函数

2.relu本质上是分段线性激活函数，但可以不断分段逼近非线性激活函数

当该网络足够复杂时，理论上relu可以逼近任意非线性激活函数

激活函数有什么性质？

1.非线性：当激活函数是非线性的，一个两层的神经网络就可以逼近所有函数。

2.可微性：当优化函数是基于梯度的时候，都体现该性质

3.单调性：对于单层网络而言，能保证时凸函数

4.f(x)≈x：激活函数满足这个形式时，如

最低0.47元/天 解锁文章
【RePo】机器学习八股文
0x00
09-11 1万+
机器学习八股文
八股文——机器学习基础损失函数
wangziling123456的博客
03-21 849
对于一个样本而言，J=(y-a)/2激活函数的梯度越大，权值w和b大小调整的越快，训练收敛的越快假使激活函数是sigmoid函数，当使用二次代价函数时，很可能会出现梯度消失，使用sigmoid函数在饱和区即x过大或者过小时，梯度是接近于0。
机器学习_八股
qq_45972323的博客
04-11 3773
这里称J(a,b)为损失函数，明显可以看出它是个二次函数，即凸函数，所以有最小值。当J(a,b)取最小值的时候，f(x)和y的差异最小，然后我们可以通过J(a,b)取最小值来确定a和b的值。
【深度学习八股总结】常用激活函数
ahwlmqd的博客
05-28 617
替换$\boldsymbol{x} $ 为 $\boldsymbol{x} - c $ 将所有的输入平移了一个常量，不会改变相对大小。（b）精度损失：由于计算机使用有限精度浮点数，在如果分母是一组具有大差异的数值，那么进行求和时会出现累加误差。（a）数值溢出：由于指数函数的增长速度太快。当输入的数值较大时，指数函数会非常大，导致溢出。请分析该替换是否能解决问题，并请证明该替换并不影响 softmax 函数的值。，新的输入的数值都变得接近于零或更小，避免计算指数函数求和时发生溢出。
机器学习深度学习八股表格（由AI整理）
最新发布
weixin_45715390的博客
10-09 599
由AI整理的机器学习&深度学习八股表格，适合面试等速成场景快速记忆。
机器学习八股文
weixin_43570470的博客
08-09 3755
机器学习面试笔试求职必背
大模型实习必备八股文 之 机器学习（一）
Mary的博客
01-11 1090
Sigmoid 函数Sigmoidz1e−x1​二元交叉熵损失。
八股文——机器学习基础归一化
wangziling123456的博客
03-27 489
不同特征之间往往量纲不同，变化区间的数量级也不同，这就会导致某些指标可能会被忽略，影响最终结果为了消除特征之间的量纲影响，需要进行归一化处理，解决特征之间的可比性，使各个特征之间处于同一数量级，可以直接进行对比评价。
算法面试八股文『 基础知识篇 』
SG_teresa's blog
01-31 4102
个人整理的算法面试基础知识八股文，内容较详细。
深度学习八股
qq_56047026的博客
09-09 2232
RMSprop将学习率分解成一个平方梯度的指数衰减的平均。Adam中动量直接并入梯度的一阶矩估计。其次，相比缺少修正因子导致二阶矩估计可能在训练初期具有很高偏置的RMSprop，Adam还包括偏置修正，修正从原点初始化的一阶矩估计和二阶矩估计。本质上是带有动量的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要是经过偏置校正后，每一次迭代学习率都有一个确定范围，使得参数比较平稳。对图像和滤波矩阵做内积的操作就是卷积操作其中图像是指不同的数据窗口数据；
【秋招】算法岗的八股文之机器学习
热门推荐
qq_42312574的博客
08-02 1万+
为了便于后续的下游任务中特征距离计算，为了消除特征间单位和尺度差异的影响，以对每维特征同等看待，需要对特征进行归一化。余弦相似度：计算两个向量之间夹角的余弦值，余弦值接近1说明夹角趋近0，表示两个向量相似。表示激活函数，【激活函数是用来加入非线性因素的，提高神经网络对模型的表达能力，解决线性模型所不能解决的问题。模型假设：自变量的变化对因变量的影响是通过一个逻辑函数（sigmoid函数）体现的。这个模型中包含了许多不同的网络模型，以下将根据他们之间的应用侧重来浅显的解析概念。的代价函数是交叉熵函数。
机器学习面试八股总结
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
12-02 990
下面是本人在面试中整理的资料和文字，主要针对机器学习面试八股做浅显的总结，大部分来源于ChatGPT，中间有借鉴一些博主的优质文章，已经在各文中指出原文。。文章系列图像使用》插图。
【13】机器学习算法面试八股
weixin_44125042的博客
07-16 973
空洞卷积或者膨胀卷积是在标准的卷积核里注入空洞，以此来增加感受野。相比原来的正常convolution，dilated convolution 多了一个超参数称之为 dilation rate（空洞率）优点是在保持同等计算量的情况下可以扩大感受野，缺点是存在网格效应，丢失局部像素信息。。感受野用来表示网络内部的不同神经元对原图像的感受范围的大小。神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着它可能蕴含更为全局，语义层次更高的特征；相反，值越小则表示其所包含的特征越趋向局部和细节。
【5】机器学习算法面试八股
weixin_44125042的博客
07-15 999
若卷积神将网络的上一层有N个卷积核,则对应的通道数也为N。设群数目为M,在进行卷积操作的时候,将通道分成M份,每个group对应N/M个通道,然后每个group卷积完成后输出叠在一起,作为当前层的输出通道。
【4】机器学习算法面试八股
weixin_44125042的博客
07-15 808
通过对训练数据样本以及属性进行有放回的抽样（针对某一个属性随机选择样本）这里有两种，一种是每次都是有放回的采样，有些样本是重复的，组成和原始数据集样本个数一样的数据集；另外一种是不放回的抽样，抽取出大约60%的训练信息。由此生成一颗CART树，剩下的样本信息作为袋外数据，用来当作验证集计算袋外误差测试模型；把抽取出的样本信息再放回到原数据集中，再重新抽取一组训练信息，再以此训练数据集生成一颗CART树。这样依次生成多颗CART树，多颗树组成森林，并且他们的生成都是通过随机采样的训练数据生成，因此叫随机森林。
【10】机器学习算法面试八股
weixin_44125042的博客
07-15 503
第一步：生成Rand1()函数，等概率产生0和1。第二步：计算整数 n 的二进制表示所拥有的位数 k， k = 1 + l o g 2 n k = 1 +log_2n k=1+log2n第三步：调用ｋ次 Rand1() 产生随机数。
【2】机器学习算法面试八股
weixin_44125042的博客
07-15 1017
频率派认为模型参数是固定的,一个模型在无数次抽样后,参数是不变的；频率派认为模型不存在先验贝叶斯学派认为数据才是固定的而参数并不是。贝叶斯派认为模型存在先验。支持向量机为一个二分类模型,它的基本模型定义为特征空间上的间隔最大的线性分类器。而它的学习策略为最大化分类间隔,最终可转化为凸二次规划问题求解。LR是参数模型,SVM为非参数模型。LR采用的损失函数为logisticalloss,而SVM采用的是hingeloss。在学习分类器的时候,SVM只考虑与分类最相关的少数支持向量点。
机器学习面试八股准备
weixin_44036607的博客
04-21 1082
一般是卷积-BN-Relu. Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。2、在训练的时候，是分批量进行填入模型的，但是在预测的时候，如果只有一个样本或者很少量的样本来做inference，这个时候用BN显然偏差很大，例如在线学习场景。正则化，增加训练数据，数据增强，标签平滑，BatchNorm，early-stop，交叉验证，Dropout，
机器学习八股文(考研复试自用)
weixin_54262350的博客
03-25 3180
​ 机器学习起源于上世纪50年代，1959年在IBM工作的Arthur Samuel设计了一个下棋程序，这个程序具有学习的能力，它可以在不断的对弈中提高自己。由此提出了“机器学习”这个概念，它是一个结合了多个学科如概率论，优化理论，统计等，最终在计算机上实现自我获取新知识，学习改善自己的这样一个研究领域。
八股文——机器学习基础模型评估
wangziling123456的博客
04-07 1562
计算公式 召回率(预测结果中真正的正例数)/(样本中所有的正例数)这里需要注意一个特点，真阳性率和召回率是一致的。召回率是对样本的评判 样本中有多少正样本被预测正确了精确率是对预测结果的评判计算公式 Precision=(预测结果中真正的正例数)/(预测结果中的正例数)预测结果中的正例数正例数包含两个方面1 正的预测为正的2 负的预测为正的如果查准率很大，当样本预测为正例时，那么这个样本为正例的把握就很大(1)首先，ROC曲线的横坐标是假阳性率FPR，纵坐标是真阳性率TPR。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值