秃头小姐姐

在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确.

一、激活函数作用激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。一、激活函数分类1）阶跃函数2）sigmoid3）RELU4）tanh 函数5）恒等函数6）softmax1）阶跃函数阶跃函数的导数在绝大多数地方（除了0之外）的导数都是0。所以用它做激活函数的话，参数们的微小变化所引起的输出的变化就会直接被阶跃函数抹杀掉，在输出端完全体现不出来，训练时使用的损失函数的值就不会有任何变化，这是不利于训练过程的参数更新的。**参考代码和结果如下：**2）sigmoid

1、损失函数（loss function）也叫代价函数（cost function）。是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程（损失函数值小了，对应预测的结果和真实结果的值就越接近）2、损失函数分类2.1 二代损失函数2.2交叉熵代价函数交叉熵代价行数是信息熵的概念，神经网络分类中常用的代价函数，只考虑正确类损失，没有对错误类损失的考量当分类输出正确类的结果（输出概率化的值即使用了softmax函数之后）接近于1，对应正确类的标签为1，即y=1，即可得到，

最大熵原理1.前言​ 最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量机以及决策树算法都会加深理解。2.信息论2.1信息熵熵度量了事物的不确定性，越不确定的事物，它的熵越大。在没有外部环境的作用下，事物总是向着熵增大的方向发展，所以熵越大

上采样和下采样缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。下采样对图像的缩放操作并不能带来更多关于该图像的信息, 因此图像的质量将不可避免地受到影响。然而，确实有一些缩放方法能够增加图像的信息，从而使得缩放后的图像质量超过原图质量的。下采