
Grokking Deep Learning
黎明之道
One has to adapt to survive.
Standing on the Shoulders of Giants.
展开
-
《Grokking Deep Learning》卷积神经网络简介
关于边和角的神经学习:卷积神经网络简介一、在多个地方重复使用weights如果需要在多个位置检测相同的特征,请使用相同的权重!神经网络最大的挑战是过度拟合,当神经网络记忆一个数据集,而不是学习有用的抽象,概括到看不见的数据。换句话说,神经网络学会了根据数据集中的噪声进行预测,而不是依靠基本信号。过度拟合通常是由于参数过多(相比数据集大小)过拟合涉及模型中权重的数量和它必须学习这些权重的数据点的数量之间的比率。结构是当你有选择地选择在神经网络中为多种目的重用权重时,因为我们认为需要在多个地方检测到原创 2020-07-18 12:13:28 · 572 阅读 · 0 评论 -
《Grokking Deep Learning》之学习信号,忽略噪声(正则化和批处理)
正则化和批处理一、过拟合MNIST的三层网络import sys, numpy as np #引入系统库及numPy库from keras.datasets import mnist #引入keras数据集 MNIST(x_train, y_train), (x_test, y_test) = mnist.load_data() # 读取训练集集,测试集images, labels = (x_train[0:1000].reshape(1000,28*28)/255, y_trai原创 2020-06-15 18:28:00 · 719 阅读 · 0 评论 -
《Grokking Deep Learning》 如何描绘神经网络
如何描绘神经网络相关概述这是向更高级的神经网络健康前进的关键。在 10,000 英尺的高度,这是所有神经网络的功能。假设神经网络实际上只是一系列由层连接的矩阵,让我们稍微放大一下,考虑一下任何特定的权重矩阵都在做什么。当您只有两个图层(输入和输出)时,权重矩阵知道输出图层应该基于输出数据集。它寻找输入和输出数据集之间的相关性,因为它们是在输入和输出层捕获的。当全局相关性告诉每一层它应该是什么时,局部相关性可以局部优化权重。当最后一层的一个神经元说,“我需要再高一点,”它接着告诉紧挨着它的前一层的所原创 2020-05-30 17:51:28 · 327 阅读 · 0 评论 -
《Grokking Deep Learning》构建深层神经网络
构建第一个深层网络一、学习间接相关如果你的数据没有相关性,就创建有相关性的中间数据!如果输入输出数据没有直接的相关性怎么办?使用其中两个网络。第一种方法将创建一个与输出相关性有限的中间数据集。第二种方法将使用这种有限的相关性来正确预测输出。因为输入数据集和输出数据集其实没有相关性,我们用输入数据集去创建一个中间层数据集,这个被创建的中间数据集和输出数据集有相关性。二、创建相关性每一个圆点都是一个数据,每一排若干个圆点构成intermediate dataset,中间数据集如果 input原创 2020-05-23 21:49:43 · 1118 阅读 · 0 评论 -
《Grokking Deep Learning》构建第一个深层神经网络: 反向传播简介
构建第一个深层神经网络: 反向传播简介一、 路灯问题问题引入:想象一下你正在接近一个外国的街角。当你走近时,你抬头一看,发现路灯是陌生的。你怎么知道什么时候过马路安全?通过解读街灯,你可以知道什么时候过马路是安全的。记录下以下模式:停止:第一个红绿灯没人走,左灯或右灯可能与停止相关,或者中心灯可能与行走相关。步行:人们走路,所以这盏灯的某些东西改变了信号,能确定的是,极右的光似乎并不表明这种或那种方式停止:这次只有中间的灯变了,得到了相反的模式。假设是中间的灯指示人们什么时候觉得走路原创 2020-05-16 11:36:55 · 506 阅读 · 0 评论 -
《Grokking Deep Learning》 广义梯度下降
广义梯度下降你不能通过遵守规则来学习走路,你需要通过做和摔倒来学习。 ——理查德·布兰森一、如何设计多输入的神经元1、具有多个输入的空网络def w_sum(a,b): assert(len(a) == len(b)) output = 0 for i in range(len(a)): output += (a[i] * b[i]) return output weights = [0.1, 0.2, -.1] def n原创 2020-05-09 22:20:25 · 937 阅读 · 0 评论 -
《Grokking Deep Learning》对应用深度学习解决问题 tensorflow 代码分析
tensorflow代码的分析如果没有安装tensorflow 库的要先安装此库.通过以下命令:pip install tensorflow 即可安装。import tensorflow as tfimport numpy as npmodel=tf.keras.Sequential()model.add(tf.keras.layers.Dense(input_dim=1,nui...原创 2020-05-05 16:21:14 · 469 阅读 · 0 评论 -
《Grokking Deep Learning》 神经学习
神经学习1、神经网络精准预测与否?预测就是一个神经网络knob_weight = 0.5 #初始化权重参数(预测的标准)input = 0.5 #输入值goal_pred = 0.8 #真实情况,f(0.5)=0.8pred = input * knob_weight #预测值=输入*权重error = (pred - goal_pred) ** 2 #误差print(e...原创 2020-04-26 21:23:43 · 1493 阅读 · 0 评论