深度学习-学习笔记-1

最新推荐文章于 2022-07-08 21:08:03 发布

原创最新推荐文章于 2022-07-08 21:08:03 发布 · 288 阅读

0 ·

CC 4.0 BY-SA版权

python 同时被 3 个专栏收录

5 篇文章

订阅专栏

深度学习

2 篇文章

订阅专栏

CNN

1 篇文章

订阅专栏

本文深入讲解神经网络的基本结构，包括输入层、隐藏层和输出层，并详细解释神经网络如何通过大量数据样本进行训练。文中还介绍了激励函数的作用、梯度下降法及成本函数的概念，并通过实例说明了初始化权重矩阵对模型精度的影响。

神经网络

input layer
hidden layer
output layer

怎样被训练的？
需要很多数据样本进行训练，对比预测答案和真实答案的差别，改变模型一点点；

激励函数

梯度下降

这个个优化问题（optimization）
cost function，就是误差方程。
Cost = ( predicted - real) 2 = ( Wx - y ) 2

神经网络求得的局部最优解已足够优秀

局部最优
全局最优

卷积神经网络（tensorflow）

kernel/filter

初始化
在初始化共享权重矩阵（kernel/filter）时，一开始将stddev设置成了1（stddev=1），导致模型训练后的精度仍低至0.1；自己核对代码，将stddev调整至0.1后（stddev=0.1）后，训练后的模型精度就提高至0.99了。

def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

tf.truncated_normal 截尾正态分布
Outputs random values from a truncated normal distribution.

The generated values follow a normal distribution with specified mean and standard deviation, except that values whose magnitude is more than 2 standard deviations from the mean are dropped and re-picked.

就是生成一个指定均值和标准差的正太分布，然后只截取均值左右两个标准差之内的值。

Args:

shape: A 1-D integer Tensor or Python array. The shape of the output tensor.
mean: A 0-D Tensor or Python value of type dtype. The mean of the truncated normal distribution.
stddev: A 0-D Tensor or Python value of type dtype. The standard deviation of the normal distribution, before truncation.
dtype: The type of the output.
seed: A Python integer. Used to create a random seed for the distribution. See tf.set_random_seed for behavior.
name: A name for the operation (optional).

Returns:
A tensor of the specified shape filled with random truncated normal values.