优化函数笔记

SJY_ZY

于 2021-08-31 10:53:37 发布

阅读量161

点赞数

分类专栏：机器学习&深度学习文章标签：深度学习 pytorch 机器学习

本文链接：https://blog.youkuaiyun.com/weixin_43899645/article/details/120012737

版权

机器学习&深度学习专栏收录该内容

3 篇文章

订阅专栏

在这里插入图片描述
momentum：是在梯度下降的方向上综合考虑以前的方向，从而减少了震荡的幅度

RMSprop：的作用是方法让偏导小的下降快，偏导大的下降慢，从而更容易找到正确的梯度下降方向

Adam：是两者的结合

SJY_ZY

博客等级

码龄7年

76
原创

203
点赞

954
收藏

8196
粉丝

关注

私信

分类专栏

展开全部收起

上一篇：: 机器学习——scikit-learn特征工程

下一篇：: 没得选这件事是人生常态

最新评论

typedef int ElemType
qq_64138398: 你好我想问一下，就第一点那个typedef int ElemType ,后续把它变成Typedef double ElemType 或者其它什么类型的时候，那我程序里面比如printf或者scanf有关ElemType类型的变量，原来是用%d改完的时候不就不适配了吗？
计算机组成原理——浮点数
做而论道_CS: 对浮点数的理解，不需要弄这么麻烦的。上过初一的，都知道科学记数法：　N = ± 绝对值 × 10^e。绝对值，当然是正数，由一位整数、多位小数组成。 e 则是以 10 为底的指数。将此法，引入到计算机中，就是 “浮点数” 了：　N = (－1)^S × 2^E × (1.) M。其中的：　S，代表符号，1 就是负数。　E，称为阶码，其值为 E = e + 127。　(1.) M，就是绝对值，它是一个无符号数。把 “科学记数法” 中的 ±、绝对值、指数 e，拿来换算一下，存入计算机，就完事了。浮点数的运算：　相加减时，需要先对阶，再用绝对值的补码加减。　相乘除时，就用阶码相加减、绝对值相乘除。得出了加减乘除的结果后，还需要整理成规范的形式。其实，计算机中的浮点数运算，是由 “浮点机” 实现的。（定点机、浮点机，你可别说不知道啊！）诸如：对阶、上下溢、规格化...，都是由硬件自动完成的。根本就不需要你来编程。不用编程，你还讲这些干嘛？难道，你还想设计浮点机的硬件？这得睡的多死，才能做这么大个梦啊！硬件的原理及其设计，就由 “电子信息工程专业” 去干吧。计算机专业的老师，就不要在这里哗众取宠了。计算机专业的学生，学了这些，也是 P 用都没有的。学了半年，还是隔靴搔痒而已。计算机专业，了解一些 “定点机、补码” 就不错了。
计算机组成原理——指令流水线
FFMF_475: 你也配原创
计算机组成原理——定点数的表示和运算
做而论道_CS: 另外，对浮点数的理解，并不需要弄这么麻烦的。上过了初一，都学过科学记数法：　　N = ± 绝对值 × 10^e。绝对值，当然是正数，由一位整数、多位小数组成。 e 则是以 10 为底的指数。将此法，引入到计算机中，就是 “浮点数” 了：　　N = (－1)^S × 2^E × (1.) M。其中的 S 是符号位；　E，称为阶码，它是：指数 e + 127；　(1.)M，就是绝对值，它是一个无符号数。把 “科学记数法” 中的 “指数 e、绝对值” 拿来　换算一下，所谓的 “浮点数” 就出来了。　　反向换算，也不难吧。关于浮点数的运算：　加减时，要先对阶，再用绝对值来加减。　相乘时，就是绝对值相乘除、阶码相加减。得到了结果后，还需要整理成规范的形式。其实，计算机中的浮点数运算，是由 “浮点机” 实现的。（什么是定点机、浮点机，你可别说不知道啊！）对阶、运算、上下溢、规格化等等，都是由硬件完成的。这些步骤，都是自动完成的，并不需要你来编程。那么，你讲这些干嘛？你还想设计硬件？硬件的工作原理及其设计，就由 “电子专业” 去干吧。计算机专业的老师，就不要在这里哗众取宠了。计算机专业的学生，学了这些，也是 P 用都没有的。学了半年，也还是隔靴搔痒而已。计算机专业的学生，了解一点 “定点数、补码” 就行了。计算机专业老师来讲这些，就是来装大瓣蒜的！
计算机组成原理——定点数的表示和运算
做而论道_CS: 计算机专家，可不想让你弄的这么痛快！　弄这么简单，怎么显出计算机的神秘感！　　太简单，怎么能显出专家的水平！所以，他们偏要跟你说：　机器数符号位原码反码补码取反加一符号位不变 ... 谁要是跟着他们琢磨 “原码取反加一”，　显然就是，被他们带到沟里爬出不来了！－－－－－－－－－－－－－－－－－－－－－由 “补码” 换算到十进制数，也极其简单。你只需记住：【补码首位的权，是负数】。一般的八位二进制数，各个位的权是：　　128、64、32、16、8、4、2、1；如果是八位的补码，各个位的权则是：　－128、64、32、16、8、4、2、1。　例如，有一个补码：1110 0001，它代表的十进制是：－128 + 64 + 32 + 1 = －31。如果，另一个补码：0110 0001，它代表的十进制是：0 + 64 + 32 + 1 = ＋97。仅仅使用【进制转换】，不就行了！　根本就用不着琢磨：原码反码取反加一这些事。