loveliuzz的博客

原创 深度学习种 数据shuffle对模型性能的影响

博客部分内容参照链接：https://blog.youkuaiyun.com/g_b_l/article/details/109600536相同的两个目标检测实验，模型进行shuffle和未进行shuffle时训练的loss图，发现：未经shuffle的loss曲线出现周期性的震荡，测试后模型的泛化效果也很差。如下图1（未shuffle）和图2（shuffle）所示： ...

原创 ncnn在win10+VS2013平台编译

1、编译protobuf3.4.0从地址https://github.com/google/protobuf/archive/v3.4.0.zip 下载protobuf3.4.0并解压，打开VS2013 x64 Native Tools Command Prompt (本机工具命令提示符)。在命令行中移动到解压出来的protobuf-3.4.0目录，然后执行以下命令，出现以下界面安装成功：> cd <protobuf-root-dir>> mkdir build-

原创 Pytorch数据加载——Dataset和DataLoader详解

一、可迭代对象与迭代器简介可迭代对象（iterable）：实现了 __iter__ 方法，该方法返回一个迭代器对象； 迭代器（iterator）:迭代器含有 __iter__ 和 next 方法，当调用 __iter__ 返回迭代器自身，当调用 next() 方法返回容器下一个值； 二者关系：使用 iter(可迭代对象) 转换为 (迭代器).二、pytorch输入数据pipline“三步走”策略一般pytorch的数据加载到模型的操作顺序如下：1、创建一个 Dataset 对象，必须实

转载 Ubuntu18.04下安装配置Caffe-SSD-GPU版本及遇到问题解决办法

主要参照以下的博客内容：https://blog.youkuaiyun.com/CAU_Ayao/article/details/84000151https://blog.youkuaiyun.com/jancis/article/details/102824091https://blog.youkuaiyun.com/wudi_X/article/details/80012764...

原创 tensorflow框架到caffe框架的模型转换

本文参考以下系列内容：tensorflow2caffe(1) : caffemodel解析，caffemodel里面到底记录了什么？tensorflow2caffe(2) : 如何在tensorflow中取出模型参数tensorflow2caffe(3) : 如何将tensorflow框架下训练得到的权重转化为caffe框架下的权重参数tensorflow2caffe(4) : c...

原创 Caffe在win10+VS2013+GPU (cuda8.0+cudnn5.1) /CPU +Anaconda3-4.2.0(虚拟环境py2)+Matlab-R2014a版本编译

参考链接：https://blog.youkuaiyun.com/u011947630/article/details/818787670. 编译环境操作系统：Windows10IDE: VS2013GPU: NVIDIA GTX 1050Ti1、VS2013安装官网地址：https://my.visualstudio.com/Downloads?q=Visual%20Studio%...

原创 头部姿态估计原理及可视化

一、简述 头部姿态估计（Head Pose Estimation ）：通过一幅面部图像来获得头部的姿态角. 在3D 空间中，表示物体的旋转可以由三个欧拉角(Euler Angle)来表示：分别计算 pitch(围绕X轴旋转)，yaw(围绕Y轴旋转) 和 roll(围绕Z轴旋转) ，分别学名俯仰角、偏航角和滚转角，通俗讲就是抬头、摇头和转头。百闻不如一见，上示意图： ...

原创 PyTorch学习（基础）—— Tensor & autograd

几乎所有的深度学习框架背后的设计核心都是：张量和计算图。一、Tensor 在pytorch中，Tensor（一般可译作“张量”）是重要的数据结构，torch.Tensor是存储和变换数据的主要工具，可认为是一个高维数组，它可以是一个数（标量）、一维张量（向量）、二维张量（矩阵）或更高维的张量。Tensor和numpy中的多维数组ndarray很类似，但Tensor可以使用GP...

翻译 PyTorch学习（三）—— DataLoader

一、Manual data feed二、DataLoaderimport torchimport numpy as npfrom torch.autograd import Variablefrom torch.utils.data import Dataset, DataLoaderclass DiabetesDataset(Dataset): # Ini...

翻译 PyTorch学习（二）—— Linear regression、Logistic Regression、Softmax Classifier

一、Linear regression（in PyTorch way） import torchfrom torch.autograd import Variable# data define(3*1)x_data = Variable(torch.Tensor([[1.0], [2.0], [3.0]]))y_data = ...

翻译 PyTorch学习（一）——Linear Model、Gradient Desent、Back propogation

一、Linear Model1、Mde和lLoss函数的构建2、计算权重w的损失loss3、画出w和mse的关系图4、全部整体的代码import matplotlib.pyplot as pltimport numpy as npx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]# ou...

原创 softmax loss及其变种

转载 A-Softmax(SphereFace)的总结及与L-Softmax的对比

目录1. A-Softmax的推导2. A-Softmax Loss的性质3. A-Softmax的几何意义4. 源码解读 A-Softmax的效果 与L-Softmax的区别【引言】SphereFace在MegaFace数据集上识别率在2017年排名第一，用的A-Softmax Loss有着清晰的几何定义，能在比较小的数据集上达到不错的效果。这个是他们总结...

原创 生成对抗网络（Generative Adversarial Nets）——GAN

目录一、生成对抗网络的定义及优势二、生成对抗网络原理深入理解GAN基础思想：实际中的GAN:三、生成对抗网络的训练过程一、生成对抗网络的定义及优势GAN 主要包括了两个部分，即生成器 (generator)与判别器 (discriminator)。(1)生成器主要用来学习真实图像分布从而让自身生成的图像更加真实，以骗过判别器。(2)判别器则需要对接收...

转载 TensorFlow tf.data 导入数据（tf.data官方教程）

原文：https://blog.youkuaiyun.com/u014061630/article/details/80728694 导入数据（Reading data）TensorFlow读取数据的四种方法：tf.data、Feeding、QueueRunner、Preloaded data。本篇的内容主要介绍 tf.data API的使用目录导入数据（Reading data）1....

转载 TensorFlow 数据读取的四种方法总结

读取数据（Reading data）====================推荐：如何构建高性能的输入 pipeline====================TensorFlow输入数据的方法有四种：1、tf.data API：可以很容易的构建一个复杂的输入通道(pipeline)（首选数据输入方式）（Eager模式必须使用该API来构建输入通道）2、Feeding：使用Pytho...

转载 深入理解反卷积

参考链接：https://www.zhihu.com/question/48279880/answer/525347615参考链接：https://blog.youkuaiyun.com/itleaks/article/details/80336825什么是反卷积？上采样(Upsample)在应用在计算机视觉的深度学习领域，由于输入图像通过卷积神经网络(CNN)提取特征后，输出的尺寸往往会变小，...

转载 两种常用的全参考图像质量评价指标——峰值信噪比（PSNR）和结构相似性（SSIM）

原文：https://blog.youkuaiyun.com/zjyruobing/article/details/49908979 1.PSNR（Peak Signal to Noise Ratio）峰值信噪比：MSE表示当前图像X和参考图像Y的均方误差（Mean Square Error），H、W分别为图像的高度和宽度；PSNR的单位是dB，数值越大表示失真越小。n为每像素的比特数，一般的灰度...

转载 导数，偏导数，方向导数与梯度的定义与联系

参考博客https://blog.youkuaiyun.com/baishuo8/article/details/81408369和知乎https://www.zhihu.com/question/36301367一、导数（derivative）导数，是我们最早接触的一元函数中定义的，可以在 xy 平面直角坐标系中方便的观察。当 Δx→0时，P0处的导数就是因变量y在x0处的变化率，反映因变量...

转载 深度学习——dropout理解

文章转载自：https://blog.youkuaiyun.com/u012762419/article/details/795340851.dropout解决的问题深度神经网络的训练是一件非常困难的事，涉及到很多因素，比如损失函数的非凸性导致的局部最优值、计算过程中的数值稳定性、训练过程中的过拟合等。其中，过拟合是很容易发生的现象，也是在训练DNN中必须要解决的问题。过拟合我们先来讲一下什么...

转载 深度学习中的优化方法总结

转载自：https://blog.youkuaiyun.com/u012151283/article/details/78154917梯度下降沿着整个训练集的梯度方向下降。可以使用随机梯度下降很大程度地加速，沿着随机挑选的小批量数据的梯度下降。批量算法和小批量算法使用小批量的原因n个样本均值的标准差是σn√σn，其中σσ是样本值真实的标准差。分母n−−√n表明使用更多的样本来估计梯度的方法的回...

原创 机器学习sklearn19.0聚类算法——层次聚类（AGNES/DIANA）、密度聚类(DBSCAN/MDCA)、谱聚类

一、层次聚类BIRCH算法详细介绍以及sklearn中的应用如下面博客链接：http://www.cnblogs.com/pinard/p/6179132.htmlhttp://www.cnblogs.com/pinard/p/6200579.html 二、密度聚类 三、密度最大值聚类...

转载 Python 实例方法、类方法、静态方法的区别与作用

文章转载自：https://www.cnblogs.com/wcwnina/p/8644892.htmlPython中至少有三种比较常见的方法类型，即实例方法，类方法、静态方法。它们是如何定义的呢？如何调用的呢？它们又有何区别和作用呢？且看下文。首先，这三种方法都定义在类中。下面我先简单说一下怎么定义和调用的。（PS：实例对象的权限最大。）实例方法    定义：第一个参数必须是实例...

原创 深度学习——激活函数总结

        激活函数主要作用是：加入非线性的因素，以解决线性模型表达能力不足的缺陷，在整个神经网络里面起到至关重要的作用。因为神经网络的数学基础是处处可微的，所以选取的激活函数要能保证数据输入与输出也是可微的。在神经网络中常用的激活函数有Sigmoid、Tanh、ReLU、Softplus以及变种函数Noisy ReLU、Leaky ReLU、Elus、Swish等。1、Sigmoid函数...

原创 FaceNet源码使用方法及其迁移学习训练自己数据集的代码修改

关于修改train_softmax.py文件进行迁移学习比如：自己的数据集要识别6个人，最后一个全连接层的节点个数为6。训练的数据集路径下改成自己的数据集。代码修改及解释有如下几处：经过上面的修改后即可在自己的数据集上进行迁移学习的训练，保存最终训练的模型，其他地方的参数可以自行调整优化。 FaceNet源码使用方法主要参照转载自：https://blog.cs...

转载 Tensorflow加载预训练模型和保存模型（ckpt文件）以及迁移学习finetuning

转载自：https://blog.youkuaiyun.com/huachao1001/article/details/78501928使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文，相信你一定会有收获！1 Tensorflow模型文件我们在checkpoint_d...

原创 删除重复文件或图片（去重）的python代码

通过python爬虫或其他方式保存的图片文件通常包含一些重复的图片或文件，通过下面的python代码可以将重复的文件删除以达到去重的目的。其中，文件目录结构如下图：# /usr/bin/env python# -*- coding:utf-8 -*-# 运行的代码文件要放到删除重复的文件或图片所包含的目录中import osimport hashlibdef fileco...

转载 Tensorflow一些常用基本概念与函数汇总（四）

转自http://blog.youkuaiyun.com/lenbow/article/details/52218551摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。1、序言本文所讲的内容主要为以下列表中相关函数。函数training()...

转载 Tensorflow一些常用基本概念与函数汇总（三）

摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的数据IO、图的运行等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之三。1、序言本文所讲的内容主要为以下相关函数：操作组 操作 Data IO (Python functions) TFRecordWrite，rtf_record_iterator Runn...

转载 Tensorflow一些常用基本概念与函数汇总（二）

转自：http: // blog.youkuaiyun.com / lenbow / article / details / 521811591、tensorflow的基本运作为了快速的熟悉TensorFlow编程，下面从一段简单的代码开始：import tensorflow as tf #定义‘符号’变量，也称为占位符 a = tf.placeholder("float") b = t...

转载 Tensorflow一些常用基本概念与函数汇总（一）

转自：http://blog.youkuaiyun.com/lenbow/article/details/521527661、tensorflow的基本运作为了快速的熟悉TensorFlow编程，下面从一段简单的代码开始：import tensorflow as tf #定义‘符号’变量，也称为占位符 a = tf.placeholder("float") b = tf.placehold...

转载 格灵深瞳：人脸识别最新进展以及工业级大规模人脸识别实践探讨 | 公开课笔记...

 作者 | 张德兵编辑 | 阿司匹林出品 | 人工智能头条（公众号ID：AI_Thinker） 人脸识别已经成为成为计算机视觉领域最热门的应用之一，很多刚入门的 AI 新手都或多或少接触过人脸识别的相关知识，但是纸上得来终觉浅，在实际应用中，往往会遇到各种各样的问题，比如如何保证不同环境下人脸识别的准确率，极端环境下如何进行人脸识别等等。 为了帮大家解惑，我们特意邀...

转载 Tensorflow 模型文件的使用以及格式转换

Tensorflow模型的graph结构可以保存为.pb文件或者.pbtxt文件，或者.meta文件，其中只有.pbtxt文件是可读的。网上大牛们训练好的网络，将模型保存为一个统一的.pb文件，这个文件中不止保存着模型网络的结构和变量名，还保存了所有变量的值，如果我们想利用别人训练好的模型对自己的数据进行测试，往往要对这个模型做一些修改，这时我们经常需要知道原有模型里面的一些张量名称，但是.p...

原创 tensorflow对深度学习生成的pb模型文件的保存与读取及节点和张量的输出

一、pb模型的保存1、MTCNN人脸检测算法中官网训练好的参数保存在三个文件名称分别为：det1.npy、det2.npy、det3.npy的后缀名为 .npy文件中（.npy文件也是一种以二进制保存的文件），将.npy文件转换为 .pb 模型文件的方法通过以下代码实现：import tensorflow as tfimport detect_faceimport osfrom t...

原创 必须掌握的Linux系统命令学习总结

一、基础概念1、系统内核：       计算机硬件是有运算器、控制器、存储器、输入输出设备等共同组成，而让各种硬件设备各司其职且又能协同运行的东西就是系统内核，Linux系统的内核负责完成对硬件资源的分配、调度等管理任务。系统内核对计算机正常运行来说太重要，一般不建议直接去编辑内核的参数，让用户通过基于系统调用接口发出的程序或服务来管理计算机。Linux系统中的图形化工具（如：LVM）...

转载 用于TensorFlow Serving部署生产环境的saved_model 模块

saved_model模块主要用于TensorFlow Serving。TF Serving是一个将训练好的模型部署至生产环境的系统，主要的优点在于可以保持Server端与API不变的情况下，部署新的算法或进行试验，同时还有很高的性能。保持Server端与API不变有什么好处呢？有很多好处，我只从我体会的一个方面举例子说明一下，比如我们需要部署一个文本分类模型，那么输入和输出是可以确定的，输入...

原创 深度学习——Face Verificaton（人脸验证）与Face Recognition（人脸识别）在FaceNet的应用案例

一、综述人脸识别领域主要有两个范畴：Face Verificaton（人脸验证）与Face Recognition（人脸识别）1、Face Verificaton（人脸验证）：1:1的匹配问题。如果你有一张输入图片以及某人的ID或名字，    系统要做的是：验证输入照片是否是这个人。    在人脸验证中，会看到两张图像，并且必须告诉他们是否属于同一个人。 最简单的方法是逐个比较两个图像，如果原始图...

转载 Keras:基于Theano和TensorFlow的深度学习库

文章转载于：https://www.cnblogs.com/LittleHann/p/6442161.html关于keras框架的介绍亦可参考：https://www.jianshu.com/p/8dcddbc1c6d4Keras源码的组织和功能如下：.│ activations.py│ callbacks.py│ constraints.py│ initializations.p...

转载 【siamese网络学习】基于2-channel network的图片相似度判别

原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50098483作者：hjimce一、相关理论     本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章：《Learning to Compare Image Patches via Convolutional Neural Networks》，本篇文章对经典的算法Siamese Ne...

转载 Keras简介及其扩展性

本文章转载自博客：https://blog.youkuaiyun.com/hewb14/article/details/53414068Keras拥有不错的扩展性，这一方面是因为设计时就留好的接口，另一方面是因为清晰的代码结构，让你可以有很多自定义的空间。所以下面用几个例子介绍在Keras中如何自定义层和各种方法。0、backend如果想在Keras中自定义各种层和函数，一定会用到的就是backend。一般导...