SunshineSki的博客

文章目录@[toc]一、什么是激活函数？二、常见的激活函数1. Sigmoid函数2. Tanh/双曲正切激活函数3. ReLU激活函数4. Leaky ReLU5. Parametric ReLU激活函数6. ELU激活函数7. SeLU激活函数8. Softmax激活函数9. Swish激活函数10. Maxout激活函数11. Softplus激活函数12. 公式汇总一、什么是激活函数？在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用.

Title：Accurate Image Super-Resolution Using Very Deep Convolutional NetworksAuthors ：Jiwon Kim, Jung Kwon Lee and Kyoung Mu LeeDepartment of ECE, ASRI, Seoul National University, KoreaCVPR 2016Proceedings of the IEEE Conference on Computer Vision .

须知：本文作者建议各位读者结合Coursera上Andrew NG（吴恩达）教授的DeeLearning.ai课程一同学习，理解效果更佳。本文为《Convolutional Neural Networks》第四周 特殊应用：人脸识别和神经风格迁移的学习笔记。文章目录什么是神经风格迁移（What is neural style transfer?）深度卷积网络学习什么？（What are dee...

须知：本文作者建议各位读者结合Coursera上Andrew NG（吴恩达）教授的DeeLearning.ai课程一同学习，理解效果更佳。本文为《Convolutional Neural Networks》第四周 特殊应用：人脸识别和神经风格迁移的学习笔记。文章目录What is face recognition?One-shot learningSiamese networkHow to T...

须知：本文为《Convolutional Neural Networks》第三周目标检测的学习笔记。作者建议各位读者结合Coursera上Andrew NG（吴恩达）教授的DeeLearning.ai课程一同学习，理解效果更佳。文章目录目标定位（Object localization）特征点检测目标检测滑动窗口的卷积实现（Convolutional implementation of sli...

文章目录引言边缘检测Padding卷积步长（Strided Convolutions）三维卷积单层卷积网络（One layer of a convolutional network）小测试：一个简单卷积网络参数的计算池化层（Pooling Layers）卷积神经网络示例 （Convolutional neural network example）为什么使用卷积？（Why convolutions?...

文章目录IntroductionWhether to use End to End Learning ?AdvantagesDisadvantagesKey PointIntroduction深度学习中最令人振奋的最新动态之一就是端到端深度学习的兴起，那么端到端学习到底是什么呢？简而言之，以前有一些数据处理系统或者学习系统，它们需要多个阶段的处理。过去解决一个人工智能问题（以图像识别为例）往...

本笔记大部分内容来自张俊林博客学习整理,文末附参考链接。文章目录@[toc]1. 引言2. "Internal Covariate Shift" 问题3. BatchNorm的本质思想4. 训练阶段如何做BatchNorm5. BatchNorm的推理过程6. BatchNorm优点1. 引言机器学习领域有个很重要的假设：IID（independently and identically...

文章目录@[toc]1. Introduction2. Development of Machine Learning3. What is transfer learning ？4. How to transfer ?4.1 Example 1：物体识别4.2 Example 2：放射科诊断4.3 Example 3：语音识别系统5. The meaning of transfer learnin...