李响

文章目录1 激活函数1.1 sigmoid1.2 tanh1.3 ReLU函数1.4 ReLU函数的变种2 Dropout2.1 原理2.2 实验2.3 作者重点分析的一些特点1 激活函数1.1 sigmoid1.2 tanh优缺点：引入更简单更高效的函数：1.3 ReLU函数softplus导数正好为sigmoid。1.4 ReLU函数的变种2 Dropout2....

文章目录1 前馈神经网络1.1 网络训练一些定义2 反向传播算法2.1 前言2.2 符号约定2.3 反向传播算法的推导2.4 总结过程3 收敛和局部极值4 神经网络杂谈1 前馈神经网络右图是左图的一个单个神经元。所有权重的集合就可以是模型参数，知道参数之后，模型就可可以直接使用。假设C是误差（评估函数），在A和B之间做调整（梯度下降法），让C达到最小。梯度——》求导。、记忆化搜索...

文章目录1 单个神经元如何工作2 感知机3 感知机模型解决逻辑运算问题3.1 XNOR的第一个实现3.2 第二个4 感知机的训练5 Sigmoid神经元1 单个神经元如何工作固有偏置单元（bias unit）。2 感知机加了偏置项代码跑出的效果会更好。根据激活函数公式，信号大于0输出1，否则-1（or 0）.3 感知机模型解决逻辑运算问题尝试解决 and，or，not，xnor（...

文章目录1 视盘2 数据集3 竞赛1 视盘视盘（optic disc）：全称视神经盘，有时候也被成为视神经乳头（optic nerve head）。在普通的彩色眼底相机中，一般最亮的区域就是视盘的位置。视盘是眼睛的一个重要组织，很多疾病都可以直接（亦或间接地）通过视盘来观测。例如，青光眼（glaucoma）病变，医生会计算视杯视盘直径比率（disc-cup-ratio，CDR）来诊断患者是...

文章目录1 Inception-V3模型简介2 ImageNet数据集简介3 工程文件4 运行5 结果1 Inception-V3模型简介本例使用预训练好的深度神经网络Inception-v3模型来进行图像分类。Inception-v3模型在一台配有 8 Tesla K40 GPUs，大概价值$30,000的野兽级计算机上训练了几个星期，因此不可能在一台普通的PC上训练。我们将会下载预训练好的...

文章目录1 简介2 网络框架3 Encoder4 Pooling&Upsampling（decoder）：5 Batch Normlization6 Loss Function7 Segnet网络代码8 分割效果1 简介SegNet是Cambridge提出旨在解决自动驾驶或者智能机器人的图像语义分割深度网络，开放源码，基于caffe框架。SegNet基于FCN，修改VGG-16网络得到...

文章目录循环神经元（Recurrent Neuron）循环神经网络（RNN）消失梯度问题（Vanishing Gradient Problem）激增梯度问题（Exploding Gradient Problem）循环神经元（Recurrent Neuron）循环神经元是在T时间内将神经元的输出发送回给它。如果你看图，输出将返回输入t次。展开的神经元看起来像连接在一起的t个不同的神经元。这个神...

文章目录滤波器（Filters）卷积神经网络（CNN）池化（Pooling）填充（Padding）数据增强（Data Augmentation）滤波器（Filters）CNN中的滤波器与加权矩阵一样，它与输入图像的一部分相乘以产生一个回旋输出。我们假设有一个大小为28 * 28的图像，我们随机分配一个大小为3 * 3的滤波器，然后与图像不同的3 * 3部分相乘，形成所谓的卷积输出。滤波器尺寸通...

“神经网络由许多相互关联的概念化的人造神经元组成，它们之间传递相互数据，并且具有根据网络”经验“调整的相关权重。神经元具有激活阈值，如果通过其相关权重的组合和传递给他们的数据满足这个阈值的话，其将被解雇;发射神经元的组合导致“学习”。文章目录输入/输出/隐藏层（Input / Output / Hidden Layer）MLP（多层感知器）正向传播（Forward Propagation）成本函...

文章目录SigmoidReLU（整流线性单位）Softmax神经网络（Neural Network）Sigmoid最常用的激活函数就是Sigmoid，ReLU和softmaxa）Sigmoid——最常用的激活函数之一是Sigmoid，它被定义为：Sigmoid变换产生一个值为0到1之间更平滑的范围。我们可能需要观察在输入值略有变化时输出值中发生的变化。光滑的曲线使我们能够做到这一点，因...

文章目录1.神经元（Neuron）2.权重（Weights）3.偏差（Bias）4.激活函数（Activation Function）1.神经元（Neuron）就像形成我们大脑基本元素的神经元一样，神经元形成神经网络的基本结构。想象一下，当我们得到新信息时我们该怎么做。当我们获取信息时，我们一般会处理它，然后生成一个输出。类似地，在神经网络的情况下，神经元接收输入，处理它并产生输出，而这个输出...

文章目录1.【深度学习必备基础知识】2.【入门必备数学知识】3.【Python必备基础】4.【深度学习框架开发基础入门】1.【深度学习必备基础知识】深度学习的发展历程机器学习深度学习如何工作实践：手写数字分类2.【入门必备数学知识】高等数学线性代数行列式矩阵向量线性方程组矩阵的特征值和特征向量二次型概率论和数理统计随机事件和概率随机变量及其概率分布多维随机变量及...

环境准备Windows 7/8/10 专业版/企业版 (64bit) (GPU版本支持CUDA 9.0/10.0，且仅支持单卡)Python 版本 2.7.15+/3.5.1+/3.6/3.7 (64 bit)pip 或 pip3 版本 9.0.1+ (64 bit)注意事项确认需要安装 PaddlePaddle 的 Python 是您预期的位置，因为您计算机可能有多个 Python如...

CUDA（百度百科版）CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。CUDA（网民有理版）CUDA呢简单来说就是GPU通用运算的一种编程框架。我这么说一定是...

这是一个使用knn把特征向量进行分类的demo。Knn算法的思想简单说就是：看输入的sample点周围的k个点都属于哪个类，哪个类的点最多，就把sample归为哪个类。也就是说，训练集是一些已经被手动打好标签的数据，knn会根据你打好的标签来挖掘同类对象的相似点，从而推算sample的标签。Knn算法的准确度受k影响较大，可能需要写个循环试一下选出针对不同数据集的最优的k。至于如何拿到特征向...

SIFT特征和SURF特征都是优秀的尺度不变特征，常用来进行物体辨识和图像匹配。所谓的尺度不变特征是指每个检测到的特征点都伴随着对应的尺寸因子（特征点的局部尺寸参数与特征的尺度成正比），下面就这两种著名的尺度不变特征进行简要的介绍和比较。（PS：由于两种特征提取算法的细节较多，本篇文章只简单介绍它们的原理、主要步骤和简单应用，主要关注两者的比较）...

这里使用的是python 3.6 、opencv_python-3.4.0+contrib，特征提取的代码如下：import cv2img = cv2.imread("feature.jpg")img = cv2.resize(img,(136 * 3,76 * 3))cv2.imshow("original",img)gray = cv2.cvtColor(img,cv2.COLO...

3.X以后OpenCv只包含部分内容，需要神经网络或者其他的函数需要导入opencv_contrib解决方法：pip install opencv-contrib-python注意：如果已经安装OpenCv2，则需要先卸载pip uninstall opencv-python再安装...

ROC曲线的优势　　ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持稳定。在实际的数据集中经常会出现类不平衡现象，而且测试数据中的正负样本的分布也可能随着时间变化。下图是ROC曲线和Precision-Recall曲线的对比。其中(a)和©为ROC曲线，(b)和(d)为Precision-Recall曲线。(a)和(b)展示的是分类器在原始测试集（正负样本分布...

在机器学习中，ROC（Receiver Operator Characteristic）曲线被广泛应用于二分类问题中来评估分类器的可信度，但是当处理一些高度不均衡的数据集时，PR曲线能表现出更多的信息，发现更多的问题。1.ROC曲线和PR曲线是如何画出来的？在二分类问题中，分类器将一个实例的分类标记为是或否，这可以用一个混淆矩阵来表示。混淆矩阵有四个分类，如下表：其中，列对应于实例实际所属...

在机器学习里面做一些分类任务时，经常会使用到一些评价指标，下面就一些常用的指标进行详细的说明。上图表示为一个二分类的混淆矩阵（多分类同理，只需要把不属于当前类的其他类都考虑为负例），表格中的四个参数说明：True Positive（TP）：预测为正例，实际为正例False Positive（FP）：预测为正例，实际为负例True Negative（TN）：预测为负例，实际为负例Fals...

F1-Score又称为平衡F分数（balanced F Score），他被定义为精准率和召回率的调和平均数。F1-Score指标综合了Precision与Recall的产出的结果。F1-Score的取值范围从0到1的，1代表模型的输出最好，0代表模型的输出结果最差。更一般的，我们定义Fβ分数为除了F1分数之外，F2分数和F0.5分数在统计学中也得到大量的应用。其中，F2分数中，召回率的权...

Precisionprecision=TP/(TP+FP)真阳对预测为阳的占比。Recallrecall=TP/(TP+FN)真阳对真实为阳的占比。

一、roc曲线1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)纵轴：真正类率(true postive rate TPR)灵敏度，Sensitivity(正类...

（1）iteration：表示1次迭代，每次迭代更新1次网络结构的参数；（2）batch_size：1次迭代所使用的样本量；（3）epoch：1个epoch表示过了1遍训练集中的所有样本。需要补充的是，在深度学习领域中，常用随机梯度下降算法（Stochastic Gradient Descent, SGD）训练深层结构，它有一个好处就是并不需要遍历全部的样本，当数据量非常大时十分有效。此时，...

首先介绍一下关键点回归的Ground Truth的构建问题，主要有两种思路，Coordinate和Heatmap，Coordinate即直接将关键点坐标作为最后网络需要回归的目标，这种情况下可以直接得到每个坐标点的直接位置信息；Heatmap即将每一类坐标用一个概率图来表示，对图片中的每个像素位置都给一个概率，表示该点属于对应类别关键点的概率，比较自然的是，距离关键点位置越近的像素点的概率越接近1...

prepare datatrainingpredict"C:\Program Files\Python36\pythonw.exe" C:/Users/88304/Desktop/Retina-Unet-1/retinaNN_predict.pyUsing TensorFlow backend.C:\Program Files\Python36\lib\site-packages\ten...

H5文件是层次数据格式第5代的版本（Hierarchical Data Format，HDF5），它是用于存储科学数据的一种文件格式和库文件。接触到这个文件格式也是因为上Coursera深度学习课程的时候，作业用到了。它是由美国超级计算与应用中心研发的文件格式，用以存储和组织大规模数据。目前由非营利组织HDF小组提供支持。目前，很多商业和非商业组织都支持这种文件格式，如Java，MATLAB，P...

运行代码之后，控制台除了输出应该有的结果外，还多了一行：I T:\src\github\tensorflow\tensorflow\core\platform\cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2就是说您...

HDF5 简介HDF（Hierarchical Data Format）指一种为存储和处理大容量科学数据设计的文件格式及相应库文件。HDF 最早由美国国家超级计算应用中心 NCSA 开发，目前在非盈利组织 HDF 小组维护下继续发展。当前流行的版本是 HDF5。HDF5 拥有一系列的优异特性，使其特别适合进行大量科学数据的存储和操作，如它支持非常多的数据类型，灵活，通用，跨平台，可扩展，高效的 ...

使用了google colaboratory的免费GPU进行训练，调整了源代码的各个参数，下面是configuration.txt文件的解析：[data paths]只有在修改了prepare_datasets_DRIVE.py文件之后，才能更改这些路径。[experiment name]为实验选择一个名称，将创建一个具有相同名称的文件夹，其中包含所有的结果和经过训练的神经网络。[dat...

在Rrtina-Unet-master文件夹下新建一个test文件夹（源代码没有这个test文件夹会报错）将lib文件夹下的三个py文件里面的from xxx import xxx格式改成一致，就是说from lib.help_function xxx 的这个lib要么都有要么都没有。不然会报错：No model named xxx。我的解决办法：将所有from后面的lib都删掉，然后在reti...

用于深度网络训练的数据集做标注的方法和工具有好多，像Labelme、labelImg、yolo_mark、Vatic、Sloth等等，此处暂时只介绍其中的一种标注工具：labelImg。等到后期熟悉其他的标注工具会一一介绍。废话不多说，直接进入正题! 此篇先介绍在windows下使用已经编译好的labelImg。一、labelImg工具下载： 下载地址：链接: https://...

Labelme工具用于图像分割标注githublabelImg的简介LabelImg 是一个可视化的图像标定工具。使用该工具前需配置环境python + lxml。Faster R-CNN，YOLO，SSD等目标检测网络所需要的数据集，均需要借此工具标定图像中的目标。生成的 XML 文件是遵循 PASCAL VOC 的格式的。labelImg的安装exe下载：https://tzut...