IRONFISHER的博客

本文简单的介绍一下神经渲染中的NeRF技术。带来了三篇NeRF简介——NeRF，NeRF++，Mip-NeRF。

这几天又读了老师发的两篇论文，这两篇论文自成一个体系，提供了一个很好的启发式的集成修剪方法，并能将该修剪算法很好的运用到芯片中。此篇文章基于对原文的翻译和自己的理解撰写而成，由于作者理解有限，且基础尚不扎实。欢迎各位对本篇文章的内容批评、指正！首先介绍第一篇论文：Ensemble Reduction via Logic Minimization。集成学习通常采用决策树作为基算法。由于决策树天生的二分类结构与数字电路本身的逻辑“0”和“1”及其相似，在可穿戴设备&移动终端的算法部署中，通常采用决

半监督学习笔记（五）上次的更新中主要包括了熵最小化、代理变量方法。接下来做一个简单的回顾：熵最小化：一种强制让网络输出更加自信的决策的方法，增加一个正则化项使得函数倾向于比较极端的分类。代理标签方法：自训练：在每一次迭代中，自己对无标签数据生成伪标签，再在下一次迭代中作为训练集进行优化。代理标签：为了使得生成的标签更加靠谱，中间包括了标签传播算法。以及可能出现的确认性偏差问题，MixUp和minibatch可以解决这个问题。元代理标签：teacher和student相互学习。由teacher生成

半监督学习笔记（四）昨天的更新中，我们学习了几种基于对抗方法的一致性正则化的策略，接下来让我们做一个简单的复习：1、 Fast-SWA：采用了退火算法的思想，逼近多个最小值点后求平均。2、 Virtual Adversarial Training：通过找到网络的薄弱点，选择性的挑取噪声进行训练。3、 Adversarial Dropout：采用对抗性的方法找到最弱的随机丢弃层，其中运用了元素级丢弃和通道级丢弃的方法。4、 Interpolation Consitency training：插值一致

前几天更新了一致性正则化的前五种方法，我们可以看到整个模型也在不断的进步，从单纯的对噪声进行学习以增强网络的鲁棒性到应用对抗学习的一些知识。现在我们对之前的知识做简要的总结：Ladder Networks：简单的加入了编码-解码层，通过加入噪声来预测未加噪声层的输出来增强网络的鲁棒性。 Pi-model：通过dropout作为噪声源，利用了网络的dropout随机性使得网路更加强壮。 Temporal Ensembling：加入了指数平均法，使得网络能对之前训练的输出有所响应，减小了不稳定性。 M

Introduction原文链接https://arxiv.org/abs/2006.05278v2https://arxiv.org/abs/2006.05278v2昨天的更新讲了一下半监督学习的Overview部分，简要的复习一下：半监督学习的概念：大部分数据没有标注，少部分数据有标注，然后半监督学习要对这些数据执行良好的分类任务。半监督学习的方法：一致性正则化，代理变量，生成模型，基于图的方法。半监督学习的基本假设：平滑性假设、聚类假设、流形假设半监督学习的相关问题：主动学

暑假的时候还认真的看完了吴恩达、李宏毅老师的的NLP网课，今天对NLP的知识做一个小summary，以后复习的时候还用得着，同样学习NLP网课的同学也可以来看看！一起讨论讨论！网课链接：(强推)2021吴恩达深度学习-NLP序列模型_哔哩哔哩_bilibili网课链接：(强推)李宏毅2021春机器学习课程_哔哩哔哩_bilibili自然语言处理也是深度学习中一个比较大的领域，现在深度学习主要有三个方面：一个是CV（Computer Vision，计算机视觉），另一个是NLP（Neuro-lang

这几天学习了一篇论文，名称就是An Overview of Deep Semi-Supervised Learning。是一篇关于半监督学习的综述，当然自己的理解也十分的肤浅，这篇文章是自己的学习笔记，发出来是希望各位大神对我的理解多指点指点！当然能给各位学习的同学们参考到就更好了！本篇文章仅供参考，如有错误还请多多指正！原文链接：https://arxiv.org/abs/2006.05278v2https://arxiv.org/abs/2006.05278v21.半监督学...