Charinfield的专栏

机器学习中的分类问题常用到交叉熵作为损失函数，那么Pytorch中如何使用交叉熵损失函数呢？这就涉及到torch.nn中的三个类：nn.LogSoftmax、nn.NLLLoss、nn.CrossEntropyLoss，今天剖析一下这几个类，便于以后查找。一、nn.LogSoftmaxsoftmax常用在网络的输出层上，以得到每个类别的概率，顾名思义，nn.LogSoftmax就是对softmax的结果取了一个log。来源：https://pytorch.org/docs/stable/

训练神经网络非常重要的一个步骤就是准备数据，甚至有时候比写训练模型的代码还要重要。然而网上的一些例程多半是使用的经典的数据集如MNIST、CIFAR-100等作为例子。这些数据集都是被人家处理好了的，加载进来放到dataloader里面就可以用。而在我们自己的实际任务中，可能数据集很大，不可能一次性把所有数据都加载到内存中，所以就需要对整个数据集划分成许多个子数据集，分别存储、加载。但是这时会有一...

今天进入到cs229的学习理论部分，这一部分说简单也简单，毕竟在Coursera上学过一遍Ng的课，关于bias/variance tradeoff的相关内容有了一些了解，可是cs229里一上来证明，还是值得好好琢磨琢磨的。那么这节课讲了什么呢？前面学的是算法，无论是线性回归、逻辑回归、广义线性模型、指数分布族，还是朴素贝叶斯、SVM，以及涉及到的梯度下降法、牛顿法、最大似然估计、拉普拉斯平滑

上回讲到了，当假设空间H是有限集时，当我们的训练数据的数目满足一定要求的时候，使用ERM选出的假设h^的经验误差能够对其泛化误差做一个很好的估计，二者以很大概率非常接近，术语叫做“一致收敛”；而且，h^的泛化误差与理想状况下的假设h*的泛化误差也以大概率接近，我们也得到了对应的一致收敛定理。那么，当H是无限集的时候会怎么样呢？首先介绍VC维的概念。对于一个复杂度的模型，至少需要同等数量级的

线性模型虽说是机器学习中最简单的模型，但是还是有很多细小的知识点值得注意的。从去年这时候就开始接触机器学习，看过Ng在Coursera上的视频和斯坦福的cs229。这次看过西瓜书之后又加深了理解，于是赶紧趁热把思路整理出来。一  线性回归线性回归没什么好说的，它的思想是采用对输入样例各个特征进行线性加权的方式得到预测的输出，并将预测的输出和真实值的均方误差最小化。说白了如果输入样例只有一个...