qq_41004007的博客

原创 使用Tornado给深度学习提供接口，并使用Postman测试接口

背景：应项目需求，需要把做好的深度学习算法提供给别人使用，采用Tornado web框架，查阅了很多网上的Tornado的demo，大多数的demo都是实现网页间的交互等等，跟自己的需求不太一样。在这里记录一下自己的demo，详细解释看代码注释～API服务代码server.pyimport sysimport osimport tornado.httpserverimport ...

原创 Ubuntu与Windows之间的文件传输

        本文主要记录工作中解决Ubuntu16（desktop版）与windows10之间进行文件传输的几种方法。采用的环境为：windows10、服务器Ubuntu16（desktop版， 部署在vmware workstation上）。此外，以下方法同样适用于 win7 和 Ubuntu14.04 。       实现Ubuntu16/14（desktop版,64位）与win10/...

转载 Ubuntu下Python模块环境变量设置

Ubuntu下设置环境变量有三种方法，一种用于当前终端，一种用于当前用户，一种用于所有用户： 一：用于当前终端：在当前终端中输入：export PATH=$PATH:<你的要加入的路径>不过上面的方法只适用于当前终端，一旦当前终端关闭或在另一个终端中，则无效。  export NDK_ROOT=/home/jiang/soft/Android-ndk-r8e #只能...

原创 imgaug学习网站记录

https://blog.youkuaiyun.com/u012897374/article/details/80142744https://imgaug.readthedocs.io/en/latest/index.html

原创 Tensorflow多GPU并发训练指南

1.缘起tensorflow使用GPU时默认占满所有可用GPU的显存，但只在第一个GPU上进行计算。下图展示了一个典型的使用GPU训练的例子，虽然机器上有两块GPU，但却只有一块真正在工作，如果不加以利用，另一块GPU就白白浪费了。我们知道，GPU是一种相对比较昂贵的计算资源，虽然正值矿难，相比之前动辄八九千一块1080Ti的价格低了不少，但也不是一般人能浪费的起的，因此如何有效提高GPU特别...

原创 实践目标检测--构造SSD网络与训练

网络结构图基础网络块可自定义，可使用VGG、ResNet、DenseNet,这里使用了简单三层卷积+SSD的网络配置。多尺度特征块：使用两层3*3的网络保持图片大小不变后，使用2*2的平均池化，将图片大小减半，来提取不同尺度的特征。类别、边界框预测：使用多通道的输出来预测结果。文件名SSD_model.pyimport syssys.path.insert(0, '.....

原创 实践目标检测--读取数据集

描述对于普通的图像分类，label只用表示图片的类别就行，而目标检测，不仅仅包括了类别的判断，还包含了类别的位置信息。所以在神经网络的构造上和数据的读取上都大不相同。深度学习框架选用MxNet Gluon，经过个人的对比，对于单GPU或CPU，MxNet的速度和内存占用要远优于TensorFlow，个人认为TensorFlow的优势则在于分布式和多GPU上。选用生成方式MxNe...

原创 实践目标检测--数据准备

环境Windows10+Python3.6实践内容手势识别（识别1，2，3，4，5的手势）构造数据集1、录制视频，用于数据集收集2、使用opencv的方法截取视频帧import cv2vc = cv2.VideoCapture('shoushi3.mp4') # 读入视频文件c = 1if vc.isOpened(): # 判断是否正常打开 ...

原创 神经网络--反向传播（手算）

原创 算法基础--动态规划（笔试记录）

#include<iostream>using namespace std;int main(){ //输入部分 //输入宝箱的个数n，和现在还剩余的魔法值w int n,w; cin>>n>>w; //int n = 5,w = 10; int x,y; //p[i]为第i个宝箱所需要的魔法值 //v[i]为第i个宝箱里面的金币数...

原创 机器学习--K-means算法

概述聚类（K-mean）是一种典型的无监督学习。采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为类簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。核心思想通过迭代寻找k个类簇的一种划分方案，使得用这k个类簇的均值来代表相应各类样本时所得的总体误差最小。k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。...

原创 笔试记录--二分查找（Python）

宣讲后笔试题目：实现一个简单的二分查找，给出的数列是从小到大的。'''二分查找'''def binary_search(num_list,x): '''二分查找''' left,right = 0,len(num_list) while left<=right: mid = int((left+right)/2) if n...

原创 算法基础--hash表（Python版）

哈希查找是通过计算数据元素的存储地址进行查找的一种方法。将元素通过某个函数，转化为一个数（x），尽可能的让这些元素对应的数具有唯一性，查找时即可通过函数f（x）来找到元素所在的为位置（hash表也就是某种函数的对应关系）#除法取余法来实现的哈希函数def myHash(data,hashLength,): return data % hashLength#哈希表检索数据d...

原创 面试笔试记录--在词队列中找出现次数最频繁的词（Python）

记录9.28笔试题目是英文，大致意思是：在一个词队列中找出，出现次数最多的词。语言Python3.6笔试记录import timedef sss(L,K): a = [] # 存放word的种类 b = [] # word对应的个数 while len(L)!=0:# 每次迭代都会删除一类word，直到词队列为空。 a.appe...

原创 面试笔试记录--双向链表（Python）

双向链表也叫双链表，是链表的一种，它的每个数据结点中都有两个指针，分别指向直接后继和直接前驱。所以，从双向链表中的任意一个结点开始，都可以很方便地访问它的前驱结点和后继结点。一般我们都构造双向循环链表。'''节点类'''class Node(object): def __init__(self,data = None): self.data = data ...

原创 Ceph RGW负载均衡和高可用配置

配置主要参考http://jiebaby.com/index.php/archives/7/https://www.cnblogs.com/tianciliangen/p/7985881.htmlhttps://www.cnblogs.com/nineep/p/6795780.html（配置负载均衡有多种方法，这里是使用keepalived 用于高可用，haproxy 用于负载均衡...

原创 Tensorflow详解猫狗识别（4）--预测

预测步骤：读取图片，读取神经网络，读取保存好的神经网络参数，将图片前向传播一次，使用softmax将最后一层的结果归一化，最大的那个数就是你的预测结果了。注意：读取图片的时候，图片的大小、格式、数据类型一定要与训练的图片相同，不然，要么报错，要么得不到你想要的结果。代码：import tensorflow as tffrom PIL import Imageimport matp...

转载 深度学习优化器的对比

转载：https://blog.youkuaiyun.com/winycg/article/details/79363169梯度下降框架给定优化的模型参数θ∈Rdθ∈Rd和目标函数J(θ)J(θ)后，算法沿着梯度∇θJ(θ)∇θJ(θ)的相反方向更新θθ最小化J(θ)J(θ)。学习率ηη决定了每一时刻的更新步长。对某一步，可以用下述步骤描述梯度下降流程： 1.计算目标函数的梯度 gt=∇θJ(θ...

原创 TensorFlow详解猫狗识别 （三）--训练过程

感悟在这段时间中，同时测试了几个神经网络的模型（LeNet、AlexNet、VGG16...）感受到了调节超参数的重要性，单单对于LeNet来说，得出，当：batch_size = 32lr = 0.0001max_step = 6000~10000时函数收敛比较快，训练步数介于6000~10000时，训练出来的效果比较好，之前训练了一晚上100000步，第二天过来看预测结...

原创 TensorFlow学习笔记--onehot编码

onehot：顾名思义--独热适用：因为有些数据集并非连续性的，例如常见的多分类，适用于离散型的数据集离散型的数据集：二分类，多分类等等连续型的数据集：语言识别，文本等等对比普通label，和做了onehot编码的label这里假设为四分类batch_size为4普通标签label = [0,1,2,3]onehot编码标签label = [[1,0，0，0],...

转载 Linux下CPU版tensorflow安装教程

https://blog.youkuaiyun.com/liuguangrong/article/details/78737419

原创 TensorFlow详解猫狗识别（二）--定义神经网络

这里附上亲测的两个神经网络模型Lenet5&AlexNet7以及损失函数loss，优化器反向传播，评估函数evaluation介绍LeNet5：LeNet5诞生于1994年，是最早的卷积神经网络之一， 并且推动了深度学习领域的发展。自从1988年开始，在许多次成功的迭代后，这项由Yann LeCun完成的开拓性成果被命名为LeNet5。AlexNet：AlexNet是2012年...

原创 TensorFlow详解猫狗识别（一）--读取自己的数据集

数据集下载链接: https://pan.baidu.com/s/1SlNAPf3NbgPyf93XluM7Fg 密码: hpn4数据集分别有12500张cat，12500张dog读取数据集数据集的读取，查阅了那么多文档，大致了解到，数据集的读取方法大概会分为两种1、先生成图片list，和标签list，把图片名称和标签对应起来，再读取制作迭代器（个人认为此方法一般用在，图片名称...

原创 服务器装CentOS7系统配置过程

一、制作U盘启动器网上有很多制作U盘启动的教程，这里就不详细说了二、用U盘启动电脑进入安装界面我的服务器插上U盘后就直接自己U盘启动了，就到了下面这个界面（不用按任何键）选择第一个选项，按下tab会出现下面这样的界面三、修改第二步中tab出来的命令将命令修改为：>vmlinuz initrd=initrd.img linux dd quiet回车，进入下一步...

原创 CentOS7.4下安装ceph

Ceph简介     Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。 准备工作准备3台主机，并且修改主机名（hostnamectl set-hostname xxx 后重启）IP地址                                   主机名（修改后的hostname）172.16.37.125                 ...

原创 Windows下使用VNC连接CentOS7远程桌面

环境Windows10+CentOS7.4软件服务器端：VNC-server控制端：VNC-view步骤一、服务器端（CentOS）1、在root下执行yum install -y tigervnc-server（下载VNCSERVER）2、配置vnc-server首先，进入目录cd /lib/systemd/system复制该service，命名为...

转载 解决Python-pip安装缓慢的问题

对于Python开发用户来讲，PIP安装软件包是家常便饭。但国外的源下载速度实在太慢，浪费时间。而且经常出现下载后安装出错问题。所以把PIP安装源替换成国内镜像，可以大幅提升下载速度，还可以提高安装成功率。国内源：新版ubuntu要求使用https源，要注意。清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors....

转载 TensorFlow中MNIST数据集不能下载的问题解决

参考：https://blog.youkuaiyun.com/i8088/article/details/79126150

原创 TensorFlow实现简单的二分类神经网络

环境Window10+Python3.6+TensorFlow1.8.0基本概念    TensorFlow里面最基本的三个概念：计算图（tf.Graph）、张量（tf.Tensor）、会话（tf.Session）    计算图：是TensorFlow的计算模型，所有TensorFlow的程序都会通过计算图的形式表示。    张量：是TensorFlow的数据模型，TensorFlow中的所有输入...

原创 Windows10下搭建TensorFlow环境（GPU版本）

软件清单：安装环境：Windows10_64位Python：3.6TensorFlow：1.8.0CUDA：CUDA9.0cuDNN：cuDNN7.0安装过程1.安装python建议安装Anaconda科学计算平台来管理你的python环境，里面自带了很多模板，下载很简单，直接下一步就好，这里就不赘述。（若之前有其它的python版本，最好卸载了，以免不必要的麻烦）官方下载：https://www...