m0_49939117的博客

在深度学习实验时遇到如下问题一个简单的1D-CNN网络，结构也并不是很复杂。因为是初学，首次看到Non-trainable params: 128这一行代码是有些纳闷的？为什么这里会有128个不训练的参数。查阅了一些资料后了解到，"Non-trainable params"这类参数可能是因为BN层中的参数是使用均值和方差的方式更新，而无需利用反向传播法进行更新，因此在神经网络中这部分参数就可不必在网络训练中更新。如果将网络结构中的BN层删去，可看到如下结果此时所有参数都是可

资料来源：fuqiuai/TensorFlow-Deep-Learning: 用TensorFlow搭建CNN/RNN/LSTM/GRU/BiRNN/BiLSTM/BiGRU/Capsule Network等deep learning模型 (github.com)https://github.com/fuqiuai/TensorFlow-Deep-Learning1 Tensorflow入门1.1 张量和图TensorFlow是一种采用数据流图，用于数值计算的开源软件库。其中Tensor代表传递

8.1 LSTM生成文本用深度学习生成序列数据的通用方法，就是使用前面的标记作为输入，训练一个网络（通常是循环神经网络或卷积神经网络）来预测序列中接下来的一个或多个标记8.2 DeepDream8.3 神经风格迁移将参考图像的风格应用于目标图像，同时保留目标图像的内容8.4 用变分自编码器生成图像8.5 生成式对抗网络...

目录7.1 Keras函数式API1.API简介2.多输入模型3.多输出模型4.层组成的有向无环图5.共享层权重6.将模型作为层7.2 使用回调函数和TensorBoard检查并监控深度学习模型1.回调函数作用于模型2.TensorBoard7.3 发挥模型性能1.高级架构模式​2.超参数优化3.模型集成4.结论7.1 Keras函数式APISequential模型：Inception模块：残差连接：1.API...

用于处理序列的两种基本的深度学习算法分别是循环神经网络（recurrent neural network）和一维卷积神经网络6.1 处理文本序列文本向量化（vectorize）是指将文本转换为数值张量的过程。（1）将文本分割为单词，并将每个单词转换为一个向量（2）将文本分割为字符，并将每个字符转换为一个向量。（3）提取单词或字符的 n-gram，并将每个 n-gram 转换为一个向量。n-gram 是多个连续单词或字符的集合（n-gram 之间可重叠）。1.one-hot编码

5.1 卷积神经网络简介卷积神经网络接收形状为(image_height, image_width, image_channels)的输入张量（不包括批量维度）1.卷积运算Dense 层从输入特征空间中学到的是全局模式，卷积层学到的是局部模式。卷积神经网络具有平移不变性（卷积神经网络在图像某处学到某个模式之后，它可以在任何地方识别这个模式），并可以学到模式的空间层次结构（1）边界效应与填充输出特征图的空间维度与输入相同，那么可以使用填充。填充是在输入特征图的每一边添加适当数目的行和列

目录4.1 机器学习分支1.监督学习2.无监督学习3.自监督学习4.强化学习4.2 评估机器学习模型1.数据划分2.注意事项4.3 数据预处理、特征工程和特征学习1.预处理2.特征工程4.3 过拟合与欠拟合1.减小网络大小2.权重正则化3.Dropout4.5 通用工作流程1.定义问题，收集数据集2.选择成功指标3.确定评估方法4.准备数据5.模型开发6.开发过拟合模型7.正则化和调节超参数玫瑰花香永不消逝.

3.1 神经网络剖析1.层层是一个数据处理模块，将一个或多个输入张量转换为一个或多个输出张量。有些层是无状态的，但大多数的层是有状态的，即层的权重。

2.1 初始神经网络Mnist手写字体识别from keras.datasets import mnist(train_images, train_labels), (test_images, test_labels) = mnist.load_data()>>> train_images.shape(60000, 28, 28)>>> len(train_labels)60000>>> train_labelsarray([5,

1.1 人工智能、机器学习和深度学习

目录6.1 循环核1.循环核2.按时间步展开6.2 循环计算层1.层数2.Tensorflow描述循环计算层6.3 循环计算过程(Ⅰ)步骤​代码6.4 循环计算过程(Ⅱ)步骤代码6.5 Embeddng编码​输入一个字母6.6 RNN实现股票预测6.7 LSTM实现股票预测6.8 GRU实现股票预测6.1 循环核复习：卷积就是特征提取器（CBAPD），借助卷积核提取空间特征后，送入全连接网络1.循环核参数时间共享，循环层..

5.1 卷积计算过程输入特征图的深度，决定了当前层卷积核的深度当前层卷积核的个数，决定了当前层输出特征图的深度5.2 感受野卷积神经网络各输出特征图中的每个像素点，在原始输入图片上映射区域的大小 ...

目录4.1 自制数据集4.2数据增强4.3 断点续训4.5 参数提取4.6 acc&loss可视化4.7 给图识物4.1 自制数据集自制数据使用方法：例如：4.2数据增强4.3 断点续训4.5 参数提取4.6 acc&loss可视化4.7 给图识物...

目录3.1 搭建网络八股sequential1.import2.加载数据集3.Sequential4.compile5.fit6.summary3.2 搭建网络八股class3.3 MNIST数据集3.4 FASHION数据集3.1 搭建网络八股sequential六步法：1.import导入库2.加载数据集加载train、test数据集3.Sequential4.compile5.fit6.summary打

目录2.1 基础知识​2.2 复杂度学习率1.复杂度2.学习率2.3 激活函数1.sigmoid函数2.tanh函数3.relu函数4.leaky-relu函数2.4 损失函数1.均方误差2.自定义损失函数​3.交叉熵损失函数4.softmax与交叉熵结合2.5 缓解过拟合正则化2.6 优化器1.SGD2.SGDM3.Adagrad4.RMSProp5.Adam2.1 基础知识2.2 复杂度学...

目录1.1 人工智能三学派1.2 神经网络设计过程1.搭建网络2.损失函数​3.梯度下降4.反向传播5.代码实例1.3 张量生成1.4 Tensorflow2常用函数1.5 鸢尾花分类1.读取数据（pycharm）2.数据集乱序3.数据分集4.数据配对5.定义可训练参数6.嵌套循环迭代7.计算准确率8.可视化1.1 人工智能三学派行为主义：基于控制论符号主义：基于算数逻辑表达式连接主义：基于仿生学1.2 神经网络..

目录13.1 深度学习基础13.2 图像识别与深度学习13.3 图像卷积13.4 卷积神经网络13.1 深度学习基础特征工程：尽可能选择和构建出好的特征，使得机器学习算法能够达到最佳性能深度神经网络：有多层隐含层的神经网络深度学习三要素：数据、算法、计算力13.2 图像识别与深度学习图像识别核心问题：图像特征的提取图像特征包含：形状特征、颜色特征、纹理特征13.3 图像卷积图像卷积运算：图像中的每个像素点，用其周围像素点的灰度值加权求和调整该点的灰..

目录12.1 小批量梯度下降法1.批量梯度下降法2.随机梯度下降3.小批量梯度下降4.三种算法等高线图​12.2 梯度下降法的优化1.样本的选择2.批量数3.学习率4.梯度12.3 keras和tf.keras12.4 Sequential模型1.构建模型2.配置训练方法​3.训练模型4.评估模型5.使用模型12.5 实例：手写字体识别设计结构实现代码12.6 模型的保存和加载1.保存模型参数2.加载模型参数..

目录11.1 神经元与感知机​11.2 实例：单层神经网络1.神经网络的设计2.神经网络的实现3.具体步骤11.3 多层神经网络​1.异或问题2.复杂边界3.前馈神经网络4.万能近似定理5.隐含层设计11.4 误差反向传播算法1-1-1神经网络的误差反向传播11.5 激活函数1.sigmoid函数2.ReLu函数3.Leaky-ReLu函数4.其他函数11.6 实例：多层神经网络11.1 神经元与感知机11.2 ...

10.1 逻辑回归1.广义线性回归2.逻辑回归3.交叉熵损失函数sigmoid函数曲线为非凸曲线，使用交叉熵损失函数解决交叉熵损失函数可以反映出概率之间的误差10.2 实例：一元逻辑回归使用where函数设定阈值import tensorflow as tfimport numpy as nppred=np.array([0.6,0.2,0.8,0.49])tf.where(pred<0.5,0,1)...

9.1 基本原理1.一元凸函数求极值2.二元凸函数求极值沿梯度方向移动9.2 实例：梯度下降法一元线性回归可以转换为二元函数求极值的问题可利用梯度下降法求解多元线性回归问题1.流程2.代码#import libraryimport numpy as npimport matplotlib.pyplot as plt#load datasetx=np.array([137.97,104.5,100.00,124.32,79.20,99...

目录8.1 机器学习基础8.2 一元线性回归​8.3 解析法实现一元回归1.Python实现2.Numpy实现3.Tensorflow实现4.数据和模型可视化8.4 多元线性回归8.5 解析法实现多元线性回归8.1 机器学习基础机器学习即学习算法从数据中学习模型的过程8.2 一元线性回归8.3 解析法实现一元回归待解决问题1.Python实现#load datasetx=[137.97,104.5,100.00,124.3...

7.1 Tensorflow特性使用动态图机制· 架构7.2 创建张量1.创建Tensor对象张量由Tensor类实现，每个张量都是一个Tensor对象import tensorflow as tftf.constant([[1,2],[3,4]])·张量的numpy方法import tensorflow as tfa=tf.constant([[1,2],[3,4]])a.numpy()·参数为数字import tensorflow.

6.1 数字图像基本概念数字图像：连续的图像数字化、离散化之后的图像，是对连续图像的一种近似像素：图像的最小单位位图：记录每个像素值来存储和表达的图像色彩深度/位深度：位图中每个像素点要用多少个二进制位表示BMP格式：Windows系统标准位图格式·二值图像（仅有两种颜色的图像）每个像素只有两种可能取值，使用1位二进制表示，位深度为1·灰度图像每个像素使用一个字节表示，位深度为8（0为黑色，255为白色）·彩色图像每个像素都有红、绿、蓝三个分量每个像素点使用.

5.1 Matplotlib绘图基础使用前导入子库import matplotlib.pyplot as plt1.对figure对象进行绘制2.划分子图3.字体设置4.添加标题suptitle函数参数title函数参数可使用tight_layout函数检查坐标轴标签、刻度标签、子图标题、自动调整子图等调整子图位置5.2 散点图1.绘制散点图2. 添加文字3.坐标轴设置显示图例5....

4.1 多维数组4.2 创建 NumPy数组

3.1 序列数据结构特点：（1）成员有序排列；（2）元素位置称为下标或索引；（3）通过索引访问序列成员1.列表和元组·列表[]·元组()定义后不可修改·索引从0开始，分正/逆向索引·切片得到序列子集·打印print（序列名）·更新列表append添加insert插入+或extend合并del删除sort排序reverse逆序2.字典·字典键值对组成，各元素无序·遍历keys关键字values值items键值对

目录2.1 初识2.2 第一个程序2.3 输入与输出2.4 常量、变量及表达式1.数字2.字符串3.标识符4.常量5.变量6.运算符2.5 程序控制语句2.1 初识Python属于解释性语言，具有语法简洁、结构清晰、简单易学、功能强大、资源丰富等特性。且具有一定的可拓展、可移植性。2.2 第一个程序>>> #Determine whether the variable is a positive number #注释行.

1.1 开发环境介绍深度学习：机器学习的一个分支编程语言：Python开发框架：TensorFlow 2.0开发环境：Anaconda1.2 Anaconda安装与使用1.3 Hello World可以使用交互模式和脚本模式两种模式运行Python1.交互模式在Anaconda的环境base中选择python，输入以下代码。每输入一行代码回车后，python将执行相关操作。>>> 1+12>>> print('h...

1.CSV文件格式将数据作为一系列以逗号分隔的值（CSV）写入文件 ，即可在文本文件中存储数据

1.安装matplotlib

目录11.1 测试函数1.单元测试和测试用例2.可通过测试3.不可通过测试4.测试未通过应对措施5.添加新测试11.2 测试类1.各种断言方法2.一个测试类3.测试类4.setUP作业11.1 测试函数利用以下代码获得用户全名def get_formatted_name(first,last): full_name=first+' '+last return full_name.title()from name_function imp

10.1 从文件中读取数据1.读取整个文件保存一个txt格式的文件：pi_digst.txt3.141592653589793238462643383279使用以下方法读取文件with open('pi_digst.txt') as file_object: contents=file_object.read() print(contents)open()：打开文件，将文件的对象存储在后面的变量中with：当不需要访问文件时将其关闭read()：读取文件内容，到达

9.1 创建和使用类1.创建dog类class Dog(): #定义一个名为Dog的类 def _init_(self,name,age): self.name=name self.age=age def sit(self): print(self.name+' is now sitting') def roll_over(self): print(self.name+ ' rolled over')

目录8.1 定义1.传递信息2.实参和形参8.2 传递实参1.位置实参2.关键字实参3.默认值4.等效函数调用5.避免实参错误8.3 返回值1.返回简单值2.可选实参值3.返回字典4.函数与while循环8.4 传递列表1.修改列表2.禁止修改列表8.5 传递任意数量实参1.结合使用位置与任意数量实参2.使用任意数量的关键字实参8.6 将函数存储在模块中1.导入模块2.导入特定函数3.使用as给函数指定别名4

目录7.1 input1.编写程序2.int数值输入3.求模运算7.2 while循环1.使用while循环2.选择退出3.使用标志4.break5.continue6.避免无限循环7.3 处理列表与字典1.在列表间移动元素2.删除包含特定值的所有列表元素3.使用用户输入填充字典作业7.1 inputinput让程序暂停运行，等待用户输入文本，用户输入后将其内容存储在变量中message=input('tell me somet.

目录6.1 简单字典6.2 字典使用1.访问2.添加3.创建空字典4.修改字典值5.删除键-值对6.由类似对象组成的字典6.3 遍历字典1.遍历键-值对2.遍历键3.按顺序遍历键4.遍历字典中的值6.4嵌套1.字典列表2.字典中存储列表3.在字典中存储字典作业6.1 简单字典>>> alien_0={'color':'green','points':5}>>> print(alien_0[

目录5.1 示例5.2 条件测试1.检查条件是是否相等2.检查时区分大小写3.检查是否不相等4.比较数字5.多条件检查6.检查特定值7.检查不在特定值是否在列表中8.布尔表达式5.3 if语句1.简单语句2.if-else语句3.if-elif-else语句4.使用多个elif代码5.省略else6.测试多个条件5.4 列表处理1.检查特殊元素2.检查空列表3.使用多列表作业5.1 示例>>&...

4.1 遍历列表当列表过长导致逐个输出困难时，可使用for循环处理问题。family=['tian','han','ben','pao']for name in family: print(name) #循环内必须缩进tianhanbenPaofor循环可对每个元素执行操作>>> family=['tian','han','ben','pao']>>> for name in family:... print(name.titl

1.什么是列表一系列按特定顺序排列的元素组成的。使用[ ]表示，用,分隔其中的元素访问给定元素位置或索引，即可输出元素，不包括方括号及分隔符索引下标从0开始，这与大多数编程语言相同。Python同时提供将索引指定为[-1]这种方法，使返回最后一个元素因此，也可使用负数索引，使python返回倒数的元素。也可使用列表中的某一元素2.改动元素修改元素添加元素（1）append（ ）在末尾添加元素可首先创建一个空列表，再依次添加列表中元素