m0_57126939的博客

安装方案：前置需求：需要安装了 conda 环境管理工具，可以通过安装 miniconda或者 Anaconda 实现。安装流程：根据官网[1]推荐的流程做了一些修改（改变Python版本为3.7）。conda create -n pysyft python=3.7conda activate pysyftconda install jupyter notebookpip install syft==0.2.4 -f https://download.pytorch.or

NLLLoss(Negative Log Likelihood Loss)图解如下：CrossEntropyLoss(交叉熵损失函数)图解如下：二者关系为：LogSoftmax+ NLLLoss <===> CrossEntropyLoss官方文档：CrossEntropyLoss — PyTorch 1.10 documentationNLLLoss — PyTorch 1.10 documentation...

Momentum,这也是另外一个,有可能可以对抗 Saddle Point,或 Local Minima 的技术,Momentum 的运作是这个样子的它的概念,你可以想像成在物理的世界裡面,假设 Error Surface 就是真正的斜坡,而我们的参数是一个球,你把球从斜坡上滚下来,如果今天是 Gradient Descent,它走到 Local Minima 就停住了,走到 Saddle Point 就停住了。但是在物理的世界裡,一个球如果从高处滚下来,从高处滚下来就算滚到 Saddle Po

随机梯度下降算法的Python代码实现。与梯度下降算法不同的是随机梯度下降算法，随机梯度下降算法(SGD,Stochastic Gradient Descent)是从样本中每轮随机选一个。这样做的好处是：若在鞍点时，在梯度下降算法中，使用的是所有样本（可能带有噪声的）计算为0，必不可能向前推动。 而使用蛋哥样本计算出来，不一定是每一个都会计算为0，有随机噪声会更好的推进向前。也就是如果取所有样本的话 ，是连续的；而随机取的话很大可能就会跳过鞍点。...