DSH自学记录

第五章，深度学习用于计算机视觉 密集连接层和卷积层的根本区别在于：Dense层（全连接层）从输入特征空间中学到是全局模式，卷积层学到的是局部模式。 卷积神经网络学到的模式具有平移不变性，可以学到模式的空间层次结构。 对于包括两个空间轴（高度和宽度）和一个深度轴（通道轴，每个维度都是一个特征（或过滤器））的3D张量，卷积也叫做特征图。 卷积工作原理：输入的特征...

第一章．什么是深度学习机器学习的技术定义：在预先定义好的可能性空间中，利用反馈信号的指引寻找输入数据的有用表示。深度学习的深度是指一系列连续的表示层。分层表示通过叫做神经网络的模型来学习。决策树类似于流程图结构，对输入数据点进行分类或根据给定输入来预测输出值。特征工程：为初试输入数据选择合适的方法，手动为数据设计好的表示层。深度学习特征：渐进逐层方式形成越来越复杂的表示，...

预训练网络：之前在大型数据集上训练好，保存好的网络。如果原始数据集足够大，足够通用，则预训练网络学到特征的空间层次结构可以有效的作为通用模型。使用预训练网络的两种方法：特征提取：对于卷积神经网络而言，特征提取就是取出之前训练好网络的卷积基（池化层和卷积层部分）。这部分学到的表示更加通用，更适合重复使用。 卷积层提取表示的通用性取决于层中模型的深度，更靠近底部的是局部的高度...

第四章，机器学习基础 二分类，多分类，标量回归都属于监督学习的例子。机器学习四大分支： 监督学习：学会将输入数据映射到已知目标，也叫做标注。 监督学习变体：序列生成，语法树检测，目标检测，图像分割。 无监督学习：没有目标的情况下寻找输入数据的变换，目的在于数据可视化，数据压缩，数据去噪或更好理解数据中的相关性。降维和聚类是常...

卷积神经网络的可视化：可视化卷积神经网络中间输出（中间激活），可视化卷积神经网络的过滤器，可视化图像中类激活的热力图。可视化中间激活：对于指定输入，展示网络中各个卷积层和池化层输出的特征图（层的输出通常叫做层的激活） 特征图中，第一层是更重边缘探测器的集合，随着层数加深，激活变得越来越抽象，激活的稀疏度随着层数的加深而增大。 深度神经网络可以有效的作为信...

第六章，深度学习用于文本和序列深度学习不会接收原始文本作为输入，只能处理数值张量，文本向量化是指将文本转换为数值张量的过程。（文本可分割为标记：单词，字符，n-gram，分解为标记的过程叫做分词，然后将其转换为张量）one-hot将每个单词与一个唯一的整数索引相关联，将整数索引i转换为长度为N的二进制向量。One-hot编码是标记转化为向量最基本最常用的方法，得到的是二进制的，稀疏的...

循环神经网络的高级技巧：循环dropout ,堆叠循环层, 双向循环层。GRU层工作原理和LSTM相同，做了简化，运行计算代价更低。#观察数据集中数据import osdata_dir='D:\\jupyter_code\\jena_climate'fname=os.path.join(data_dir,'jena_climate_2009_2016.csv')f=open...

循环神经网络RNN：遍历所有序列元素，并保存一个状态，其中包含已查看和内容相关的信息。实际上是一类具有内部环的神经网络。重复使用前一次迭代的计算结果。前馈网络:将所有待处理数据转换为一个大向量，然后一次性处理。SimpleRNN能够像其他Keras层一样处理序列批量。可以在两种模式下运行：1.返回每个时间步连续输出的完整序列(batch_size,timesteps,output_feat...

Sequential模型假设，网络只有一个输入和一个输出，并且网络是层的线性堆叠。然而有的网络看起来像层构成的图。许多最新开发的神经架构要求非线性的网络拓扑结构，即网络结构为有向无环图。使用函数式API，直接操作张量，把层当做函数来用，接收张量并返回张量from keras import Input,layers#一个张量input_tensor=Input(shape=(32,))...