cuijiali961224的博客

原创 深度学习基础知识整理

神经网络基本知识这是一个概括型整理的文章，从大体几个类介绍神经网络的基本知识。重点在理清神经网络的知识点。万能逼近原理(Universal approximation theorem)只需一个包含单个隐藏层的前馈神经网络，即可逼近任意一个连续函数个人认为，这是证明深度学习有效性的前提激活函数常见激活函数有 sigmoid、tanh、ReLu (及其家族)、Softmax使用激活函数重...

原创 梯度下降优化算法简介

原创 梯度下降策略简介

梯度下降训练策略本文意在干脆地写明白梯度下降训练策略的优缺点批次梯度下降 (Batch Gradient Descent )利用全部训练数据集计算损失函数的梯度来执行一次参数更新θ⇐θ−η⋅∇J(θ)\theta \Leftarrow \theta - \eta {\rm{\cdot}}\nabla J(\theta )θ⇐θ−η⋅∇J(θ)缺点：更新较慢不能在线更新模型...

转载 损失函数简介

损失函数简介本文意在干脆地写明白损失函数的优缺点损失函数，又称目标函数，或误差函数，用来度量网络实际输出与期望输出之间的不一致程度，指导网络的参数学习和表示学习。平方损失函数（Square Loss or L2L_2L2​ Loss)L2L_2L2​ Loss : L(y,f(x))=(y−f(x))2L(y,f(x)) = (y - f(x))^2L(y,f(x))=(y−f(x))...

原创 激活函数简介

激活函数简介本文意在干脆地写明白激活函数的优缺点sigmoid 激活函数Sigmoid : σ(x)=11+e−x\sigma (x) = \frac{1}{{1 + e^{ - x} }}σ(x)=1+e−x1​优点将变量映射到 [0,1]Logistic函数的特例可用于二分类因可解释为神经元的饱和激发率(firing rate) ，历史上比较流行问题饱和神经元会“k...

转载 Taskonomy : Distangling Task Transfer Learning

**Taskonomy : Distangling Task Transfer Learning 阅读笔记**2019.6.30 论文阅读作者链接：https://zhuanlan.zhihu.com/p/38425434主题：能有效测量并利用视觉任务之间的关联来避免重复学习，从而用更少的数据学习我们感兴趣的一组任务。Taskonomy是一项量化不同视觉任务之间关联、并利用这些关联...