
深度学习
余辉亮的学习笔记
一起学习,一起进步
展开
-
【深度学习系列】机器学习的概念
1、什么是深度学习?深度学习是基于机器学习延伸出来的一个新的领域,由以人脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展。2、鼻祖人:Geoffrey Hinton。3、深度学习的应用展示: 3.1无人驾驶中路标识别 3.2Google Now中的语音识别 3.3 百度识图 3.5 针对图片,自动生成文字的描述。------------------原创 2017-03-19 00:48:22 · 601 阅读 · 0 评论 -
Tensorflow常用基本概念与函数
1、tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段简单的代码开始:import tensorflow as tf #定义‘符号’变量,也称为占位符 a = tf.placeholder("float") b = tf.placeholder("float") y = tf.mul(a, b) #构造一个op节点 sess = tf.Sessi原创 2017-11-02 19:33:31 · 540 阅读 · 0 评论 -
CNN中的卷积和池化的理解
CNN一般是由输入层、卷积层、激活函数、池化层、全连接层卷积层:用来进行特征的提取: 其中input image 32x32x3 其中3为他的通道数或者可以理解成深度(R、G、B),卷积层是一个5x5x3的filter w。filter (滤波或者成为感受野),其中filter同输入的image的通道数是相同的。如上图,image(32x32x3)与filter W 做卷积生成得到28x28x1的原创 2017-10-25 19:51:21 · 11094 阅读 · 0 评论 -
【语义】如何使用PointNet训练点云数据和点云分割(初探)
大家好,今天给大家介绍下cvpr2017 一篇文章Pointnet 语义分割,该网络基于tensorflow 写的,非常轻巧方便,但是文章和代码有一定出入,在训练过程中出现过拟合现象,大概训练了10个小时多.1 需要准备的东东(1) Ubuntu 16.04 GTX1060 6G(2) CUDA 安装(3) tensorflow 安装 2 下载源码git c原创 2017-10-17 15:36:07 · 22126 阅读 · 22 评论 -
介绍| 深度学习数据集标注工具
一、NLP标注工具BRATBRAT是一个基于web的文本标注工具,主要用于对文本的结构化标注,用BRAT生成的标注结果能够把无结构化的原始文本结构化,供计算机处理。利用该工具可以方便的获得各项NLP任务需要的标注语料。以下是利用该工具进行命名实体识别任务的标注例子。 WeTest舆情团队在使用:http://wetest.qq.com/bee/ 使用案例:http://blog.c原创 2017-09-05 16:42:30 · 15221 阅读 · 1 评论 -
戴尔笔记本双显卡配置nvidia367+cuda8.0+caffe(通用版)
大家好,最近闲的无聊,我的戴尔笔记本(2011年买的,i7-2600M,显卡nvida GT525M)装了ubuntu16.04,突发奇想,应该叫贼心不死吧,因为之前真没用这台笔记本装成过,当然台式机除外了。笔记本的双显卡装cuda,我觉得要靠运气和人品,没错我测试成功了。哈哈……特此博客跟大家分享下,其中有些关键点,我会告诉你如何处理的。当然我这个不是傻瓜教程,毕竟思路和方法才是最关键的。首原创 2017-05-10 10:44:28 · 2437 阅读 · 0 评论 -
tensorflow如何制作自己的数据集
用了这么久的tensorflow,例子跑了N多便,基本流程是清楚了。但是自己独立做一个小例子各种问题都来了。如自己图片数据集怎么做?说句老实话,tensorflow真是烦,管方文档教程上老拿MNIST和cifar_10这种做好的数据集说事,对于我们这些初学者,完全不知道图片该如何输入。今天给大家分享我的Tensorflow制作数据集的学习历程。 流程是:制作数据集—读取数据集—-加入队列转载 2017-08-19 23:42:29 · 26046 阅读 · 1 评论 -
caffe-ssd编译、训练、测试全过程(最后有彩蛋)
大家好,终于把SSD整通了,现在我把整个过程搭建给你们讲讲。caffe_ssd多目标检查效果还是非常好的,在线测试,FPS在20左右。我的训练的还是官方的数据集,其实我们可通过做自己的数据集得到预测模型也是可以的。一、SSD编译https://github.com/weiliu89/caffe.gitgit checkout ssd跟编译caffe 是一样的,进入到caff原创 2017-05-18 16:32:22 · 19187 阅读 · 22 评论 -
【PYTHON IDE】pycharm安装与使用
最近用到python写caffe的网络,找了好几个python IDE,比如说komodo、Spyder、pycharm。都用了下,发现pycharm还是不错,当然komodo也很好。说下怎么安装pycharm。一、安装直接去官网下载:http://www.jetbrains.com/pycharm/download/download-thanks.html?platform=linu原创 2017-06-10 11:40:34 · 2050 阅读 · 2 评论 -
使用caffe fine-tune一个单标签图像分类模型
本文所谓的单标签分类指的是最终的结果为多类中选择得分最高的一类进行输出,之所以叫单标签,是为了和后面文章中的多标签相对应。首先给出这个工作的主体流程,然后针对每一步再做比较细致的讲解。准备数据(图像整理好放到合适的文件夹中,对应的ground-truth整理到一个txt中)。数据转换(利用caffe提供的脚本,将原生数据转换成caffe支持的格式,本文使用的LMDB)。网络模型的定义/转载 2017-06-30 00:36:20 · 3776 阅读 · 1 评论 -
caffe 编译中出现的错误——fatal error: hdf5.h: 没有那个文件或目录
首先感谢http://blog.youkuaiyun.com/hongye000000/article/details/51043913 提供了解决方法在Makefile.config文件的第85行,添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS,也就是把下面第一行代码改为第二行代码。INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr原创 2017-06-30 00:26:30 · 2331 阅读 · 0 评论 -
caffe 分类全记录
Caffe均值文件mean.binaryproto转mean.npy深度学习(十三)caffe之训练数据格式Caffe在Cifar10上复现ResNet使用caffe训练自己的数据使用caffe fine-tune一个单标签图像分类模型如何用caffe训练图像分类深度学习模型Caffe下自个儿的数据训练和测试Deep Learning R原创 2017-06-28 19:14:11 · 475 阅读 · 0 评论 -
浅谈caffe
最近买了台主机,想用英伟达的显卡cuda跑下caffe里的demo 看看效果怎么样。总的感觉 在GPU下测试的例程,效果还不错,我的工作环境是Ubuntu 14.04 显卡gt960 cuda7.5 效果不错。最近打算把代码阅读下,想最近写下关于caffe如何部署,caffe的数据结构,caffe模型,caffe前向传播,caffe后项传播计算,最优化求解。讲解下目前他的应用场景,希望原创 2017-02-14 20:50:27 · 739 阅读 · 0 评论 -
【分类器】常用的聚类算法-K-means
K-means算法是硬聚类算法,是典型的基于原型的目标函数聚类方法的代表,它是数据点到原型的某种距离作为优化的目标函数,利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度,它是求对应某一初始聚类中心向量V最优分类,使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。该算法是典型的基于聚类的聚类算法,采用距离作为相似性的评价指标,即认为两个对象原创 2016-06-24 15:28:46 · 6835 阅读 · 0 评论 -
【深度学习基础】机器学习的定义与demo展示
机器学习 (Machine Learning,ML)1、定义:研究开发一系列的算法,不需要外部明显的指示,只需要数据来学习,建模,并且利用建好的模型和新的输入来预测的学科。例子:下棋、语音识别、自动驾驶等。学习:E、T、P (经验、任务、衡量)2、目前的应用:语音识别自动驾驶(google)https://www.youtube.com/watch?v=cdgQ原创 2017-03-18 22:01:34 · 1435 阅读 · 0 评论 -
train loss 和 test loss的关系与作用(总结)
train loss 不断下降,test loss不断下降,说明网络仍在学习;(最好的)train loss 不断下降,test loss趋于不变,说明网络过拟合;(max pool或者正则化)train loss 趋于不变,test loss不断下降,说明数据集100%有问题;(检查dataset)train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小原创 2018-01-27 12:50:55 · 21708 阅读 · 11 评论