bingokunkun的博客

数值计算上溢和下溢定义解决方法病态条件定义示例基于梯度的优化方法梯度下降法梯度之上的雅可比矩阵和海森矩阵雅可比（Jacobin）矩阵上溢和下溢定义下溢指接近零的数被四舍五入为零后作为分母，求对数等，有些软件会抛出异常，有些会分会NaN做占位符上溢指计算出的数字接近无穷，进一步计算会导致出现非数字解决方法softmax函数softmax(x)=exp(xi)/∑exp(xi)softmax(x) = exp(x_i)/∑exp(x_i)softmax(x)=exp(xi​)/∑exp(x

介绍机器学习基本常识与基础模型

机器学习基础非监督学习算法主成分分析k均值聚类随机梯度下降机器学习的不足与深度学习的来临非监督学习算法主成分分析k均值聚类随机梯度下降机器学习的不足与深度学习的来临

深度学习中的正则化参数范数惩罚L2L^2L2参数正则化L1L^1L1参数正则化作为约束的番薯惩罚正则化和欠约束问题数据集增强噪声鲁棒性半监督学习多任务学习提前终止参数绑定稀疏表示集成学习Dropout对抗训练切面距离、正切传播和流形正切分类器参数范数惩罚L2L^2L2参数正则化L1L^1L1参数正则化作为约束的番薯惩罚正则化和欠约束问题数据集增强噪声鲁棒性半监督学习多任务学习提前终止参数绑定稀疏表示集成学习Dropout对抗训练切面距离、正切传播和流形正切分类器...

优化学习和纯优化有什么不同经验风险最小化代理损失函数和提前终止批量算法和小批量算法神经网络优化中的挑战病态局部极小值高原、鞍点和其他平坦地区悬崖和梯度爆炸长期依赖非精确梯度优化的理论限制基本算法随机梯度下降动量Nesterov动量参数初始化策略自适应学习率算法AdaGradRMSPropAdam选择正确的优化算法二阶近似方法牛顿法共轭梯度BFGS优化策略和元算法批标准化坐标下降Polyak平均监督预训练设计有助于优化的模型延拓法与课程学习学习和纯优化有什么不同经验风险最小化代理损失函数和提前终止批量

卷积神经网络卷积运算数学上的卷积动机稀疏交互参数共享等变表示池化无限强的先验基本卷积函数的变体结构化输出数据类型高效的卷积算法随机或无监督的特征卷积网络的神经科学基础卷积运算数学上的卷积数学上的卷积是一种对两个实变函数的数学运算。公式为s(t)=∫x(a)w(t−a)das(t) = \int x(a)w(t - a)\mathbb{d}as(t)=∫x(a)w(t−a)da动机稀疏交互参数共享等变表示池化无限强的先验基本卷积函数的变体结构化输出数据类型高效的卷积算法随机或无监督

循环神经网络展开计算图RNN导师驱动过程和输出循环网络计算循环神经网络的梯度作为有向图模型的循环网络基于上下文的RNN序列建模双向RNN基于编码解码的序列到序列架构深度循环网络递归神经网络长期依赖的挑战回声状态网络渗漏单元和其他多时间尺度的策略时间维度的跳跃连接渗漏单元和一系列不同时间尺度删除连接长短期记忆和其他门控RNN优化长期依赖截断梯度引导流信息正则化外显记忆展开计算图对于一个动态系统s(t)=f(s(t−1);θ)s^{(t)}=f(s^{(t-1)};\theta)s(t)=f(s(t−1);

实践方法论性能度量默认的基准模型决定是否收集更多数据选择超参数手动调整超参数自动超参数优化算法网格搜索随机搜索基于模型的超参数优化调试策略性能度量默认的基准模型决定是否收集更多数据选择超参数手动调整超参数自动超参数优化算法网格搜索随机搜索基于模型的超参数优化调试策略...

线性因子模型概率PCA和因子分析独立成分分析慢特征分析稀疏编码PCA的流形解释概率PCA和因子分析独立成分分析慢特征分析稀疏编码PCA的流形解释

自编码器欠完备自编码器正则自编码器稀疏自编码器去噪自编码器惩罚导数作为正则表示能力、层的大小和深度随机编码器和解码器去噪自编码器详解得分估计历史展望使用自编码器学习流形收缩自编码器预测稀疏分解自编码器的应用欠完备自编码器正则自编码器稀疏自编码器去噪自编码器惩罚导数作为正则表示能力、层的大小和深度随机编码器和解码器去噪自编码器详解得分估计历史展望使用自编码器学习流形收缩自编码器预测稀疏分解自编码器的应用...

表示学习贪心逐层无监督预训练迁移学习和领域自适应半监督解释因果关系分布式表示得益于深度的指数增益提供发现潜在原因的线索贪心逐层无监督预训练迁移学习和领域自适应半监督解释因果关系分布式表示得益于深度的指数增益提供发现潜在原因的线索...

结构化概率模型非结构化建模的挑战使用图描述模型结构有向模型无向模型配分函数基于能量的模型分离和d-分离在有向模型和无向模型中转换因子图从图模型中采样结构化建模的优势学习依赖关系推断和近似推断结构化概率模型的深度学习方法非结构化建模的挑战使用图描述模型结构有向模型无向模型配分函数基于能量的模型分离和d-分离在有向模型和无向模型中转换因子图从图模型中采样结构化建模的优势学习依赖关系推断和近似推断结构化概率模型的深度学习方法...