忆_恒心的博客

目录1、前言：2、 Abstract:一、什么是图神经网络二、有哪些图神经网络三、图神经网络的应用3、神经网络常用的缩写5、论文详情笔记5.1 什么是图神经网络5.2 图嵌入和图神经网络的区别5.3 图卷积网络（GCN）5.4 GCN方法又可以分为两大类1、前言：这部分其实和上一篇学习的论文属于一种概述性的，因此采用初略的阅读，最主要的处理是对论文大致的中文进行梳理，对神经网络常用的缩写进行梳理、以及对于论文的概括。2、 Abstract:一、什么

准研究生学习笔记整理学习笔记指南

model.save()仅保存架构恢复模型（重建）：还差保存优化器的状态保存检查点重新加载模型在自定义训练中保存检查点checkpoint保存变化的地方保存地方：恢复模型：取出目前最新的检查点...

他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。https://zhuanlan.zhihu.com/p/30844905RNN结构具体图最后给出RNN的总括图：LSTM 网络Long Short Term网络般就叫做LSTM是一种RNN特殊的类型，可以学习长期依赖信息。在很多问题，LSTM 都取得相当巨大的成功，并得到了广 泛的使用， 它是RNN事实上的.

图像语义分割上图为语义分割的一个实例，其目标是预测出图像中每一个像素的类标签图像语义分割是图像处理和是计算机视觉技术中关于图像理解的重要一环语义分割对图像中每一个像素点我们只对类别进行分割，不对实体进行分割应用场景：1、自动驾驶起床2、医学图像诊断3、无人机着陆点判断...

图像定位的理论知识图像和位置数据的解析和可视化我们选用的数据集有猫的图片以及头像的位置（xml）图片缩放与目标值的规范因为这个红框的位置和我们的图片大小有关

检测pip是否最新版本：python -m pip install --upgrade pip通过豆瓣下载TFpip install tensorflow-cpu==2.2.0 -i https://pypi.douban.com/simple/

1 预训练网络（迁移学习）基础知识1.1迁移学习预训练网络又称为迁移学习，预训练网络是一个保存好的之前已在大型数据集（大规模图像分类任务）上训练好的卷积神经网络如果这个原始数据集足够大且足够通用，那么预训练网络学到的特征的空间层次结构可以作为有效的提取视觉世界特征 的模型。即使新问题和新任务与原始任务完全不同学习到的特征在不同问题之间是可移植的，这也是深度学习与浅层学习方法的一个重要优势。它使得深度学习对于小数据问题非常的有效。1.2 Keras内置预训练网络 Keras库中包

0 前言：dog-cat 猫狗数据集1 读取数据2 创建dataset、猫狗数据实例-图片增强3 创建模型、损失函数与优化器在自定义训练中添加验证数据，与训练数据类似4 定义单批次训练函数5 使用kaggle训练模型模型的训练与优化猫狗数据实例-图片增强模型的进一步优化与VGG网络...

利用回调函数使用Tensortboard启动和界面含义的介绍自定义变量的Tensorboard可视化自定义训练中的Tensorboard可视化此时查看：

1 前言：我们学会使用了keras提供的api实现神经网络，可是由于他封装的太好了，对于自定义的循环与自定义的训练是不友好的我们可以使用Eage，再循环中使用Eager2 简介：TensorFlow的eager模式是一个命令式编程环境，它使得我们可以立即评估操作产生的结果，而无需构建计算图。Eager与图运算模式：简单的说：图运算就相当于把每一步的绘制出来，Eager则可以直接得出结果2.1 Eager模式方便学习以及模型调试Eager模式极大的方便我们使用TensorFlo

文本向量：将数据处理成文本向量方便我们机器学习，与one-hot 类似，这里采用K-hot实验结果：如图可以容易得知过拟合解决过拟合问题：1、dropout2 L1、L2 正则化数据处理图像识别，猫狗数据集...

1 函数式API2 卷积神经网络本文将专注于在keras中使用卷积神经网络 （CNN）来处理图像。CNN 的确是从视觉皮层的生物学上获得启发的。 简单来说：视觉皮层有小部分细胞对特定部分的视觉区域敏 感。 例如：一些神经元只对垂直边缘兴奋，另一些对水平或对角边缘兴奋。2.1 CNN基础2.1.1 工作流程CNN 工作概述指的是你挑一张图像，让它历经一系列： 卷积层、 非线性层 池化（下采样（downsampli...

前言：理论知识

1 tf.data模块基于 tf.data API，我们可以使用简单的代码来构建复杂的输入， tf.data API 可以轻松处理大量数据、不同的数据格式 以及复杂的转换。1.1 tf.data API 最重要的概念：tf.data.Dataset 表示一些列元素中每个元素包含一个或多个 Tensor 对象。例如，在图片管道中，一个元素可能是单个训练样本，具有一对 表示图片数据和标签的张量。1.1.1 两种不同的方式来创建tf.data.Dataset直接从 Tensor 创建 Data

理论知识1.1多层感知器1.2梯度下降法1.3 学习速率-超参数（手工可配置）不合适的学习速率局部极值点1.4 反向传播算法1.5 优化函数SGD 随机梯度 adam优化器常见参数RMSprop代码实现1.6 网络优化与超参数的选择1.6.1 如何选择超参数那么如何提高网络的拟合能力注意：单层的神经元个数，不能太小，太小的话，会造成信息瓶颈，使得模型欠拟合13W个可训练参数

1 理论知识2 数据集2.1 Fasihion MNIST 数据集来看一下数据集3 代码实践3.1 数据包的引入3.2 实现代码：3.2.1 数字编码训练参数的时候 categorical_crossentropy 读热编码的时候 sparse_categorical_crossentropy 0,1,2,3数字编码的话 使用 3.2.2 热编码数据格式：...

单变量线性回归：损失函数：使用绝对值计算不方便方差除以均值先猜测a,b 可是这样的效率是底下不合适的。隐藏我们采用梯度下降梯度下降法：找到损失函数的机制举个例子随机初始化深度学习网络中随机初始化一批的点梯度就是寻找Z沿着导数的方向去求，步幅是会影响下降的速率，在深度学习中，局部最优解从来不是什么问题，简单的说他会比较多处多层感知器单层神经元的缺陷异或的问题神经元的启发多层感知...

1 多层感知器1.1理论知识1.1.1单层神经元的缺陷异或的问题，翻看笔记就可以，这里主要讲解的是1.1.2神经元的启发多层感知器增加激活函数的时候，是为了输出达到一定提交输出期望的数值1.2.3激活函数：relusimod和tanh容易导致饱和问题Leak relu 用在深层网络中1.3代码实现模型分析：分析：我们设定了输出有十个隐藏单元 Ouput Shape（None,10）(3个变量乘以他们的权重..

目录第二章：感应机（人工神经元）二. 感知机2. 简单逻辑电路2.1简单逻辑电路2.2代码实现：2.3导入权重和偏置2.4感知机局限性2.5多层感知机实现（解决异或门）2.6 小结第二章：感应机（人工神经元）感知机作为神经网络起源的算法二. 感知机概念：感知机其实就是流与不流的问题，流就是1不流就是0、0 对应“不传递信号”，1对应“传递信号” x1，x2是输入，y是输出，w1，w2是权值，x*w之和超过阀...

第一章 深度学习介绍1.1 人工智能人工智能的实力将它分成 大类( 1 )弱人工智能( Artificial Narrow Intelligence , ANI)( 2 )强人工智能( Artificial General Intelligence , AGI)( 3 )超人工智能( Artificial Superintelligence , ASI)1.2 数据挖掘、机器学习与深度学习1.2.1 数据挖掘，数据挖掘就是在大型的数据库中发现有用的信息，并加以分析的过程， 也

这一篇论文是12年的论文可是，他是计算机视觉工作的基石小窗口称之为感受页池化层池化、下采样可以防止过拟合为什么神经网络要用激活函数呢？因为激活函数是非线性的，正是因为非线性的激活函数才为神经网络这个模型引入了非线性，他才能解决非线性的分类问题然而传统的像Sigmoid和tanh这种饱和函数，不饱和的激活函数可以解决梯度消失的问题。softmax归一化在这篇论文中有个有趣的地方局部响应归...

深度学习在CNN的基础上，只需通过 叠加层，就可以创建深度网络8.1 加深网络这个网络使用He初始值作为权重的初始值，使用Adam更新权重参数。把上述内容总结起来，这个网络有如下特点基于3×3的小型滤波器的卷积层。 激活函数是ReLU。 全连接层的后面使用Dropout层。 基于Adam的最优化。 使用He初始值作为权重初始值。识别进度高达了为99.38%出错的图：8.1.2　进一步提高识别精度我们可以采用集成学习、学习率衰减、Data Augmentation

卷积神经网络（Convolutional Neural Network，CNN）7.1 整体结构之前介绍的神经网络中，相邻层的所有神经元之间都有连接，这称为全连接（fully-connected）。CNN7.2 卷积层全连接层存在什么问题呢？那就是数据的形状被“忽视”了。比如，输 入数据是图像时，图像通常是高、长、通道方向上的3维形状。CNN 中，有时将卷积层的输入输出数据称为特征图（feature map）。其中，卷积层的输入数据称为输入特征图（input feature ma

目录与学习相关的技巧6.1 参数的更新6.1.1　探险家的故事6.1.2　SGD6.1.3　SGD的缺点6.1.4　Momentum​6.1.5　AdaGrad6.1.6　Adam6.1.7　使用哪种更新方法呢​6.1.8　基于MNIST数据集的更新方法的比较​6.2 权重的初始值6.2.1　可以将权重初始值设为0吗6.2.2　隐藏层的激活值的分布​6.2.3　ReLU的权重初始值6.2.4　基于MNIST数据集的权重初始值的比较6.3 Bat

前言：数值微 分虽然简单，也容易实现，但缺点是计算上比较费时间。本章我们将学习一 个能够高效计算权重参数的梯度的方法——误差反向传播法正确理解误差反向传播法：一种是基于数学式； 另一种是基于计算图（computational graph）5.1 计算5.1.1　用计算图求解节点用○表示，○中是计算的内 容。也可以表示为:...

三、神经网络解决问题：上一章能用与或非解决各种函数问题，但是权重是人工设定的，本章开始根据神经网络的实现，利用已有的数据学习合适的权重作为参数来解决上面的问题。3.1 从感知机到神经网络3.1.1神经网络例子：神经网络实际跟感知机一样3.1.2函数转换：借鉴：方同学整理的公式图图片来源：https://me.youkuaiyun.com/qq_37431224根据上图的函数转换，我们就能转换为h(x)，这就是激活函数激活函数是连接感知机和神经网络...

前言：上一章讲了神经网络前向传播内容，这一章讲如何根据数据训练出相关权重参数的过程。我们在实战中直接得出了参数权重，接下爱我们要学习4.1从数据中学习介绍神经网络的学习，即利用数据决定参数值的方法。我们将针对上一个实验的训练集进行学习4.1.1数据驱动图像的特征量通常表示为向量的形式。前面学习过分类算法SVM以及KNN，我们手动提取特征向量。深 度 学 习 有 时 也 称 为 端 到 端 机 器 学 习（end-to-end machine learning）。这里所说的端到

目录第二章：感应机（人工神经元）二. 感知机2. 简单逻辑电路2.1简单逻辑电路2.2代码实现：2.3导入权重和偏置2.4感知机局限性2.5多层感知机实现（解决异或门）2.6 小结第二章：感应机（人工神经元）感知机作为神经网络起源的算法二. 感知机概念：感知机其实就是流与不流的问题，流就是1不流就是0、0 对应“不传递信号”，1对应“传递信号” x1，x2是输入，y是输出，w1，w2是权值，x*w之和超过阀...

前言：当做重要决定时，大家可能都会考虑西区多个专家而不只是一个人的意见。假期血虚处理问题时又何尝不是呢?这就是原算法（meta-algorithm）背后的思路。组合结果则被成为集成方法(ensemble method)或者元算法(meta-algorithm)Bagging、Boosting二者之间的区别样本选择上：Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。 Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。

前言：这部分知识，理论上大致比较好理解，也做了相应的笔记，虽然支持向量机有些公式未能理解透，但是由于时间有限，目前主要学会使用SKLEARN进行实现，重点工作在神经网络的学习上。这部分学习笔记整理如下：学习笔记：学习笔记 回归 支持向量机 理论知识-线性回归、逻辑回归 理论知识-SVM支持向量机 代码实现-线性回归 理论知识查缺补漏 代码实现-逻辑回归 sklearn实现SVM 说明：共有六篇读书笔记，其中代码实现是吴恩达老师的课后作业..

理论难点：实现难点以及注意事项：实现笔记截图参考资料：

理论知识难点：用jupyternote book 的ipynb书写笔记：实现代码笔记截图：参考资料：

前言：大致看完了吴恩达老师的视频后，对于机器学习有了一定的了解，但是无监督学习部分只理解了K-Means，监督学习算是入门了可是视屏听完以及完成了笔记后，感觉这部分算法掌握的不全，故重新看书。学习的方法：照着书本上代码敲，机器学习实战、参考资料：Apache CN 的机器学习基础笔记统计学习方法-李航Jack Cui的机器学习笔记https://cuijiahua.com/blog/ml/...

1．????k近邻法是基本且简单的分类与回归方法。????k近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的????k个最近邻训练实例点，然后利用这????k个训练实例点的类的多数来预测输入实例点的类。2．????k近邻模型对应于基于训练数据集对特征空间的一个划分。????k近邻法中，当训练集、距离度量、????k值及分类决策规则确定后，其结果唯一确定。3．????k近邻法三要素：距离度量、????k值的选择和分类决策规则。常用的距离度量是欧氏距离及更一般的pL距离。????

理论难点：理论知识强烈推荐看Jack Cui 真是讲得非常好，理论也太通俗了。这部分实现难点：

目录前言：1 统计学习的方法概论1.1 统计学习1.1.1 统计学习特点1.1.2 统计学习的对象1.1.3 统计学习的目的1.1.4 统计学习的方法1.1.5 统计学习的研究1.1.6 统计学习的重要性1.2 监督学习1.2.1 基本概念1.3 统计学习三要素1.3.1 模型1.3.2 策略1.3.3 算法1.4 模型评估与模型选择1.4.1 训练误差与测试误差1.5 正则化与交叉验证1.5.1 正则化1.5.2 交叉验.

前言：将实现K-means聚类，并使用它来压缩图像。 我们将从一个简单的2D数据集开始，以了解K-means是如何工作的，然后我们将其应用于图像压缩。 我们还将对主成分分析进行实验，并了解如何使用它来找到面部图像的低维表示。实现原理：我们将实施和应用K-means到一个简单的二维数据集，以获得一些直观的工作原理。 K-means是一个迭代的，无监督的聚类算法，将类似的实例组合成簇。 该算法通过猜测每个簇的初始聚类中心开始，然后重复将实例分配给最近的簇，并重新计算该簇的聚类中心。我们要实.

目录13 聚类（Clustering）13.1 无监督学习：简介13.2 K-均值算法13.3 优化目标13.4随机初始化14降维(Dimensionality Reduction)14.1 动机一：数据压缩14.3主成分分析问题14.4 主成分分析算法14.5选择主成分的数量14.6 重建的压缩表示13 聚类（Clustering）13.1 无监督学习：简介无监督学习是让机器学习无标签的数据，而不是我们之前实验的有标签的数据我们拿到没有标...

目录前言：第一部分练习-绘图分析线性可分的用非线性决策边界。第二部分的练习：小结前言：在本练习中，我们将使用支持向量机（SVM）来构建垃圾邮件分类器。 我们将从一些简单的2D数据集开始使用SVM来查看它们的工作原理。 然后，我们将对一组原始电子邮件进行一些预处理工作，并使用SVM在处理的电子邮件上构建分类器，以确定它们是否为垃圾邮件。第一部分练习-绘图分析线性可分的看看线性SVM如何对数据集进行不同的C值（类似于线性/逻辑回归中的正则化项）。impor