爱护阳光

一般我们指定GPU训练时，用到的是：os.environ["CUDA_VISIBLE_DEVICES"] = "1,2"今天遇到一个有趣的问题，在我利用以上语句进行指定GPU的时候，上面语句失效，及无论我如何进行指定，都无法实现仅利用‘1，2’块GPU操作，总是利用到原来的0块GPU。**解决方法：于是我将os.environ["CUDA_VISIBLE_DEVICES"] = "1,2"代...

gradcheck():gradcheck(func, inputs, eps=1e-06, atol=1e-05, rtol=0.001, raise_exception=True, check_sparse_nnz=False)Check gradients computed via small finite differences against analyticalgradients...

正则化概念：在《Deep Learning》书中定义正则化为“对学习算法的修改——旨在减少泛化误差而不是训练误差”，《统计学习方法》中认为正则化是选择模型的一种方法。我个人比较倾向于后一种解释。在上一篇博客也提到了，模型可以看成是一个高维函数，当模型参数确定了，这个函数也就确定了。对于不同的模型参数，能得到千千万万个不同的模型，我们将这所有的可能得到的模型称之为假设空间。理想情况下，我们希望真实...

在这里简单记录一下自己在调试过程中遇到bug：1、可能会遇到不知名的错误，大概就是139电脑内存不足的问题，但是我网络输入比较下，按理说此问题不存在的，后来换到服务器就好了2、另一个就是cuda的问题，需要用的变量都都应该转移到cuda上面，并且与网络是同步的，神经网络中定义的参数也应该单独的转移到GPU上面，因为net.to(device)好像并不会将网络中定义的变量转移到上面。3、最让头...