sc2079的博客

本博客内容来源于个人神经网络设计课程展示内容，偷个懒，没有像前一篇博客深入理解泛化写成Markdown格式，直接放图片。请各位看客多多见谅！参考资料1.马丁 T·哈根,章毅(译).神经网络设计.第二版.北京:机械出版社,2017.12.尹恩·古德费洛.深度学习[M].北京:人民邮电出版...

文章目录前言提前终止法分析贝叶斯正则化法分析比较参考资料前言前两篇博客（从贝叶斯角度理解正则化、正则化）分别介绍了提前终止法和正则化法。它们可以近似等价的吗？怎么近似等价？左边这张图轮廓线表示负对数似然函数的轮廓，虚线表示从原点开始的SGD所经过的轨迹。提前终止法的轨迹在较早的$\tilde \omega 点终止，而不是在停止在最小化代价的点点终止，而不是在停止在最小化代价的点点终止...

文章目录前言1.贝叶斯法则2.正则化项3.贝叶斯正则化第III层贝叶斯框架第II\text{II}II层贝叶斯框架贝叶斯正则化算法步骤参考资料参考资料前言上一篇：正则化下一篇：贝叶斯正则化与提前终止法关系1.贝叶斯法则贝叶斯法则： P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)}P(A∣B)=P(B)P(B∣A)P(A)​P...

文章目录1.泛化问题2.一些方法3.提前终止法4.正则化法4.1定义4.2 对正则化理解4.3正则化法分类4.3.1 L1/L2正则化法4.3.2 Dropout法4.3.3 从贝叶斯角度理解正则化5.提前终止法与正则化法之前关系参考资料1.泛化问题  上一篇文章深入理解泛化提及了泛化问题，即是解决过拟合问题。本篇文章就来看看在机器学习（深度学习）领域通常是怎么解决过拟合。  神经网络的复...

文章目录1.引言2.泛化的定义3.数据集分类4.泛化能力分类5.从训练过程来理解泛化参考资料1.引言什么是泛化呢？先举个栗子：  小明和小李都上了高三。小明头脑机灵，一边刷着五年高考三年模拟一边总结做题规律，而小李一门心思刷题，一套完了又一套，刷的试卷堆成山了却没有对错题进行总结。高考结束成绩公布，小明超出一本线几十分，而小李却勉强上了二本线。这是为什么呢？  原来高考试题一般是新题，...

生物群体运动模型笔记文章目录1.概述2. Boid模型3.Vicsek模型4.Vicsek模型的改进参考文献1.概述  生物集群在自然界中广泛存在，如鸟群、鱼群和细菌群落。由于集群展现出自组织特性与多变的行为模式，作为一个跨学科的研究课题，对集群现象的研究很早就在如生物、物理和计算机等多个学科内展开。  对多个体系统的模型研究进展进行梳理，如右图所示。可以看出，Reynolds （Boi...

1.背景  自然界中大量个体聚集时往往能够形成协调、有序，甚至令人感到震撼的运动场景，比如天空中集体翱翔的庞大的鸟群、海洋中成群游动的鱼群，陆地上合作捕猎的狼群。这些群体现象所表现出的分布、协调、自组织、稳定、智能涌现等特点，引起了生物学家的研究兴趣。而后为了满足工程需要，美国麻省理工学院的Minsky提出了智能体( agent) 的概念，并且把生物界个体社会行为的概念引入到计算机学科领域。 ...