migue_math

文章目录1 鲁棒性的损失函数2 鲁棒性的架构3 正则化4 调整损失函数5 样本选择6 元学习7 半监督学习深度学习模型往往需要大量的标记正确的数据，而现实世界的数据集中有8%~38.5%的数据是被污染的。现在的深度学习模型很容易对存在噪音的数据集过拟合，从而使得模型在测试集上的表现较差。现在比较流行的防止模型过拟合的方法：数据增强，权重衰减，dropout, batch normalization等方法并不能很好的解决这一问题。1 鲁棒性的损失函数这类方法通过改编损失函数，使得模型在噪音数据集上训

本篇论文属于元学习和黑箱函数优化的交叉领域，其中将元学习的思想应用于黑箱函数优化。这篇论文发表于2017年。对于黑箱函数优化方法我了解的不太多，因此本文的不可避免的会有一些理解不到位的地方。想要了解贝叶斯优化和高斯过程的，可以看我翻译的两篇文章：高斯过程是什么?贝叶斯优化如何工作？1 Introduction发展心理学表明婴儿具有多个针对核心知识的分散的系统，通过这些系统，他们可以...

本文来自，Duane Rich。Answer: Duane Rich, Researcher Scientist at Lyft问题目标是为一些”昂贵的“函数找到近似最小值。这些函数接受一个实数向量xxx，然后计算很长时间后才返回一个标量。所以我们可以在这里想象一个一维的情形：点状线表示一个我们无法确定的函数，我们仅能通过函数上的一些点来评估这个函数。但是这个评估过程是很耗时的，不妨设...

本文译自： Duane Rich 的文章Which is your favorite Machine Learning algorithm?几乎所有的有监督机器学习算法都专注于找到一个函数f()f()f()，这个函数是从特征xix_ixi​到标签yiy_iyi​的映射的一个近似。通常情况下一个函数的参数决定了一个函数。根据数据，我们通过确定这些参数的（后验）分布来确定可能的函数。高斯过程允...

在训练模型的过程中，我们需要不断的读取小批量的数据样本。Pytorch提供了data包来读取数据。接下来我将人工生成一些数据，然后使用data包来处理数据。import torchimport numpy as np'''The features number is 3, and the number of examples is 1000.''' true_w = [2, 3, 5....