小猪打呼噜

因为tensorflow 2.x相对于tensorflow 1.x的变动，API变更和思路也变化了，这节重点介绍的为梯度带(GradientTape)和优化器(Optimizer)因为大多数机器学习任务就是最小化损失，在损失定义的情况下，后面的工作就交给优化器啦。因为深度学习常见的是对于梯度的优化，也就是说，优化器最后其实就是各种对于梯度下降算法的优化。一.梯度带tf.GradientTape梯度带是新版本tensorflow非常常用的一个特性了，因为一旦涉及到计算梯度的问题就离不开这个新的API，

大家在学习深度学习时，肯定会遇到softmax这个知识点，初学者大都一知半解，没有理解透彻，很多文章直接讲述softmax公式及求导，忽略了其中的原因。初学者通过此文可以梳理知识结构，高手可直接查看公式推导来巩固知识用来面试手推。 softmax公式及理解 在深度学习反向传播算法中，为什么softmax求导如此重要 softmax求导公式推导 ...

在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.04747.pdf本文将梳理：每个算法的梯度更新规则和缺点 为了应对这个不足而提出的下一个...

刚刚发表了一片文章，欢迎来交流探讨。https://www.nature.com/articles/s41598-019-53989-3背景：由大量研究表明，癌症是由于基因突变导致的，但是癌症具体的发病原理并没有研究清楚，只知道与一些基因有关，但这些基因与癌症并没有呈现出绝对的相关性。这是因为基因表达是一个完整复杂的网络调控过程。而基于多个隐藏层和非线性变换的深度学习完美适用于端对端模...

之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT原博主写的太好了，这里 我就全盘奉上~似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，...

模型评估是模型开发过程的不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。在数据挖掘中，使用训练集中的数据评估模型性能是不可接受的，因为这易于生成过于乐观和过拟合的模型。数据挖掘中有两种方法评估模型，验证（Hold-Out）和交叉验证（Cross-Validation）。为了避免过拟合，这两种方法都使用（模型没有遇到过的）测试集来评估模型性能。验证（Hold-Out）使...

PCA是非常重要的统计方法，其实际应用非常广泛，但是很多讲解太过于公式化，很难让初学者消化，本文将从一个实际例子出发，并对数学公式原理及推导过程作出详细解释，即使你的数学基础比较差，在看完这篇博客之后，相信你会对PCA会有一个透彻的认知。

1. 贝叶斯是什么？所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例

一、介绍决策树是一种常见的机器学习方法。决策树顾名思义就是基于树结构来进行决策的，这恰是人类面临决策问题时一种很自然最常见的处理机制。例如：我们去超市买瓜，如何判断这个瓜是否是好瓜？面对这样一个问题，我们通常会进行一系列的判断，比如我们先看“它纹路是否清楚？”，如果“清楚”，我们再看“它的根蒂是什么形态？”，如果是“蜷缩”，我们再判断"它敲击起来是什么声音？"，如果声音“浊响”，最后我们做出决

特点是：信号前向传播，误差反向传播。通俗理解就是，BP神经网络通过层与层向前传播，得到最终实际输出后，与期望输出做对比，通过“梯度下降”策略，逐层调节权重和阈值，最终得到与期望输出在误差允许范围内的神经网络模型。