走在深度学习前沿的小宋

近段时间，之前的老板让我带下小师弟。然后按照给照小师弟的项目指导，正好出这篇文章来帮助那些想要深度学习入门或者刚接触深度学习的人。感谢！！！

激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs

DeepSmote 一种全新的将深度学习与Smote相结合的过采样方法！ 目前在许多领域已经被使用，值得大家关注学习！

由于外部因素和个体差异，脑电图 （EEG） 数据具有`跨会话和跨受试者的可变性`。因此，跨域脑电信号识别仍然具有挑战性。为了解决这个问题，我们在本文中提出了一种==特征关系对比网络 （FRCN）==。首先，我们使用`协方差矩阵`来`对齐`源域和目标域之间的数据分布，以减少差异。其次，我们通过`预训练的嵌入网络提取特征`表示，并使用非线性变换来对齐特征的相关性。然后，我们提出了一种`源域选择`方法，通过`利用来自不同域的静息态数据和选定的适当源域数`据进行微调，来`衡量域之间运动相关数据分布的相似性`。

电极记录了`神经元的混合活动`。如果将不同的特征直接嵌入到同一个特征空间中，则不考虑不同神经元区域的`特异性`和`互性特征`，这会`降低特征本身的表达能力`。我们提出了一种`跨通道特定互特征迁移学习 （CCSM-FT） 网络模型`来解决这个问题。多分支网络提取大脑`多区域信号的特定`和`相互特征`。`有效的训练技巧`用于最大限度地区分这两种特征。

`Github`上存在大量的代码。当下载下来后可能会存在疑惑：如何在`本地配置`对应的项目呢？为了帮助新手解决这一问题，这篇文章从头开始对项目的配置进行解析。文章主要包括四个部分：1. 初步预览2. 配置环境3. 数据配置4. 依次调试5. 配置完成

胶囊网络可以作为一个论文提分的点，但是工程上不建议用。。。相比于CNN网络而言，胶囊网络可以用更小的训练数据进行良好的训练；具有更强的能力去识别复杂的层次结构和空间关系。

这篇文章介绍不要对数据进行某些类型可视化 - 它们是什么以及为什么它们不好。文章通过可视化以及具体的案例进行各个情况分析，并说明了坏的原因！！！

EEG 公开数据集介绍（包含各种分类任务下的EEG数据集和对应的下载链接）

本文对损失函数进行了部分总结，包括：NRMSELoss、RRMSELoss 等损失函数及其在当前损失函数众多的情况下使用的环境。

RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. 报错解决方案

本文对损失函数进行了部分总结，包括：RMSELoss、LogCosh Loss 等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：RMSELoss、LogCosh Loss 等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：RSELoss、MAPELoss 等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：MBELoss、RAELoss 等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：Huber Loss、SmoothL1Loss 等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：TripletMarginLoss、TripletMarginWithDistanceLoss 等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：SoftMarginLoss、MultiLabelSoftMarginLoss等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：MultiMarginLoss、MultiLabelMarginLoss等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：MarginRankingLoss、HingeEmbeddingLoss等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：KLDivLoss、BCEWithLogitsLoss等损失函数及其在当前损失函数众多的情况下使用的环境。

本文对损失函数进行了部分总结，包括：PoissonNLLLoss、GaussianNLLLoss等损失函数及其在当前损失函数众多的情况下使用的环境。

写代码不写注释分情况如何解决？ 写代码不说环境分情况如何解决？讨厌程度排名：写代码不写注释 < 写代码不说环境 < 写代码不给数据 < 写论文不给代码

本文对损失函数进行了部分总结，包括：NLLLoss、CTCLoss等损失函数及其在当前损失函数众多的情况下使用的环境。总的来说：NLLLoss 和 CrossEntropyLoss 是一致的，且具有相同作用；CTCLoss则广泛用于各种时间序列任务。。。

本文对损失函数进行了部分总结，包括：BCELoss、CrossEntropyLoss 等损失函数及其在当前损失函数众多的情况下使用的环境。总的来说：对于分类任务，CrossEntropyLoss 是其进行多分类任务的标准方法，而BCELoss 广泛用于二分类任务中。。。这两种损失函数都是当前较为常用的损失函数，可以好好研究一下。

本文对损失函数进行了部分总结，包括：L1Loss、MSELoss等损失函数及其在当前损失函数众多的情况下使用的环境。总的来说：对于回归任务，最常使用的就是MSELoss，二L1Loss因其本身的特点很少使用。。。。

这篇文章为了帮助大家更好的理解损失函数，介绍了损失函数是什么以及为什么要使用损失函数。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Adaptive Spline Activation Function提出的时间过于久远，现在已几乎不再使用；Adversarial Soft Advantage Fitting具有很好的效果，但是使用场景具有局限性，使用的时候需要注意。。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：Nipuna、StarReLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Nipuna具有一定的效果，但是不会很常见。。。而StarReLU激活函数可以在深度学习领域广泛使用，具有很好的效果，有需要的小伙伴可以尝试使用，，，

本文为前面介绍的激活函数进行了一些激活函数补充，包括：Smooth Step、LinComb等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Smooth Step可能会在特殊领域进行简单应用，但是不会很常见。。。而LinComb激活函数其有效性有待进一步验证，这里仅做简单了解。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：NLSIG、EvoNorms等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：NLSIG更偏向于现实生活的情况，在当前很少使用，也并不适合深度学习领域；EvoNorms的话可以一定程度上代替BN+ReLU 的结构，且具有较好的效果，但是会带来复杂度的上升，使用的时候需要进行一定的考虑。。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：ScaledSoftSign、NormLinComb等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：ScaledSoftSign 和 NormLinComb 当前仅在预印本文章中提出，并没有得到有效验证。。。使用的时候要注意。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：SSFG、Gumbel Cross Entropy等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：虽然，SSFG和Gumbel Cross Entropy均具有很好的效果，但是尚未经过大量实验进行有效性验证！！！ 因此，使用的时候需要稍加注意。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：ShiLU、ReLUN等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：ShiLU 和 ReLUN均尚未经过有效性验证，且从函数本身来说并不一定有很好的效果！！！ 因此，使用的时候需要稍加注意。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：AHAF、SERLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：AHAF 和 SERLU都具有一定的优势，但是均尚未经过有效性验证！！！ 因此，使用的时候需要稍加注意。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：NFN、Hermite等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：NFN 现在几乎不再使用。。而 Hermite 激活函数尚未经过有效性验证！！！ 因此，使用的时候需要稍加注意。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：PDELU、CosLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：PDELU和 CosLU均都未经过有效性验证！！！ 因此，使用的时候需要稍加注意。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：PAU、DELU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：PAU 和 DELU 均有一定的优点，但是也都未经过有效性验证！！！ 因此，使用的时候需要稍加注意。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：ARiA、m-arcsinh等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：ARiA 和 m-arcsinh 在现在较少使用，这里仅做了解即可。。。

本文为前面介绍的激活函数进行了一些激活函数补充，包括：KAF、Siren等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：KAF现在较少使用，而Siren在图像方面应用较多，有需要的可以关注一下。。。