swiftfake的博客

原创 Ubuntu16.04 安装cuda8.0+cudnn+anaconda2+opencv-3.1.0+caffe

事先说明一下，本人是个新手，这安装caffe这个难题上碰到了不少的坑，一路都是百度谷歌过来的，浪费了不少时间，谨以此记来帮助后来的人节省点时间。如果哪里有什么不周到的还请各位大神私信或留言指出，不胜感激。 在正式的开始介绍安装以上这整个流程之前，请先下载我们所需要的所有资源，我将我手头里的所有资源上传到了百度云，方便大家下载使用。链接：https://pan.baidu.com/s/1Jl0Nc...

原创 安装所需要的环境 requirement.txt

安装所需要的环境：pip install -r requirement.txt

原创 deepdive的安装

简介deepdive是由斯坦福大学InfoLab实验室开发的一个开源知识抽取系统。它通过弱监督学习，从非结构化的文本中抽取结构化的关系数据下载CNdeepdive的下载地址：https://pan.baidu.com/s/1slLpYVz安装步骤下载完成过后，我们可以先浏览一下大致的文件内容deepdive可以安装在windows，linux，macOS上，install.sh脚本文...

原创 在linux服务器上配置虚拟环境--python+TensorFlow

一.简介需要在服务器上安装的软件如下：anacondacudacudnn显卡驱动如有疑问可参考本篇博客二.cuda和cudnn版本对应关系详情可参考TensorFlow官网上提供的介绍：https://tensorflow.google.cn/install/source?hl=zh-cnLinuxMacWindows三.配置虚拟环境在安装并配置完成 文章开头提到的...

原创 ssh 远程连接：Xshell+Xftp+sublime

很多时候，需要很多人共有一台服务器，为了方便用户操作自己的文件，分享一下自己学来的一套工具搭配一.简介Xshell : 用来连接服务器，对服务器进行操作。Xftp ：用来连接服务器，方便本地与服务器之间进行传输。Sublime：可以帮助我们编辑文本，并实时保存到服务器。在本地使用也是一款很好用的文本编辑器。下载地址：下载完成后，根据默认方式安装即可。#####注：如果在...

原创 TensorFlow--hello，TensorFlow

在学习TensorFlow之前，我们需要在电脑上安装TensorFlow。如果使用的是GPU版，还需要安装cuda，cudnn以及显卡驱动。在准备工作做好之后，我们开始第一个简单例子：hello，TensorFlowimport tensorflow as tfhello = tf.constant('Hello, TensorFlow')sess = tf.Session()prin...

原创 TypeError: batch() got an unexpected keyword argument 'drop_remainder'

TypeError: batch() got an unexpected keyword argument ‘drop_remainder’出现这个错误的原因极大可能是你正在使用的TensorFlow版本有点低了，将TensorFlow的版本update到 1.10.0版本及其以上就可以解决这个问题了。亲测有效...

原创 机器学习简介以及关于机器学习的术语库

关于机器学习网上有很多视频跟资料，个人觉得这个网站给的是最详细最容易理解的。机器学习简介网址：点击这里–>机器学习简介机器学习术语库网址：点击这里–> 机器学习术语库方便大家学习和记忆，可以将术语库打印出来，遇到不懂或者记得不清楚的地方，可以及时查看理解。未完待续~...

转载 Google Colab 免费GPU服务器使用教程

Google Colab免费使用GPU服务器教程Google Colab Free GPU TutorialColaboratory相关查询命令!/opt/bin/nvidia-smi!pip install!apt-get install!pip install -q kerasimport keras!apt-get install libnvrtc8.0!pi...

原创 caffe--训练测试与生成日志

运行 trainingcd caffe./build/tools/caffe train --solver=/solver.prototxt -gpu 0 # 调用0号gputesting./build/tools/caffe test -model=train_test.prototxt -weights=.caffemodel -iterations=100 -gpu ...

转载 使用TensorFlow 踩过的坑

转载：https://blog.youkuaiyun.com/wang2008start/article/details/71516198 问题一：TypeError: Expected int32, got list containing Tensors of type ‘_Message’ instead. tensorflow 函数tf.cocat([fw,bw],2)出错:Expected i...

转载 免费在线语料库

转自http://blog.sina.com.cn/u/3f7d15aa0100042lAcademia Sinica Balanced Corpus of Modern Chinese http://www.sinica.edu.tw/SinicaCorpus/Peking University Modern Chinese Corpus http://ccl.pku.edu.cn/...

原创 使用pip工具时，遇到【ERROR -3】

错误提示： Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.connection.VerifiedHTTPSConnection objec...

原创 pip的安装与卸载

前言 我个人的理解是，pip是一种工具，可以帮助用户安装卸载一些需要的安装包，非常的简单实用，类似于yum 下面介绍的是使用系统自带的python来安装pip。 安装 方法一sudo apt install python-pip方法二wget https://bootstrap.pypa.io/get-pip.py #科学上网python get-pip.pypyth...

转载 (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escap

在读取桌面文件的时候一直报错：(unicode error) ‘unicodeescape’ codec can’t decode bytes in position 2-3: truncated \UXXXXXXXX escape自己刚开始写的是这样的：import scipy as spdata = sp.genfromtxt(“C:\Users\Administrator\Des...

转载 中文分词原理与工具介绍

本文首先介绍下中文分词的基本原理，然后介绍下国内比较流行的中文分词工具，如jieba、SnowNLP、THULAC、NLPIR，上述分词工具都已经在github上开源，后续也会附上github链接，以供参考。1.中文分词原理介绍 1.1 中文分词概述 中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的...

转载 自然语言处理基本概念

文本主要分为三种文本，自由文本、结构化文本、半结构化文本，自然语言处理一般是对自由文本进行的处理。常见的基本操作如下：分词通常我们处理的自由文本分为中文、英文等。词为文本最基本的单位，分词是进行自然语言处理中最基本的步骤。分词算法分为词典方法和统计方法。其中，基于词典和人工规则的方法是按照一定的策略将待分析词与词典中的词条进行匹配（正向匹配、逆向匹配、最大匹配）。统计方法是基本字符串在语料...

转载 提取关键词

关键词是一篇文档中表达的主要话题，处理文档或句子时，提取关键词是最重要的工作之一，这在NLP中也是一个十分有用的task。常见的关键词提取方法有：TF-IDF关键词提取方法、Topic-model关键词提取方法和RAKE关键词提取。TF-IDF：使用TF-IDF提取关键词的方法十分好理解，TF衡量了一个词在文档中出现的频率，一个文档中多次出现的词总是有一定的特殊意义，但是并不是所有多次...

原创 图像分类与过滤器可视化

一.设置 首先设置Python, numpy, and matplotlib# set up Python environment: numpy for numerical routines, and matplotlib for plottingimport numpy as npimport matplotlib.pyplot as plt# display plots in ...

原创 完整案例：caffe框架用Alexnet做二分类的全部流程

一.数据的准备与预处理 数据的准备是非常重要的，我们现在准备做的是一个二分类任务，计划选取男女图片进行训练与测试。 train：随机选取300张男性图片，300张女性图片 val：随机选取80张男性图片，80张女性图片 test：随机选取100张男性图片，100张女性图片 ps：train集和val可以有交集，但是train集和test集不要有交集 我手里找到了一批512*768的图片...

原创 caffe：将mean.binaryproto文件转化为mean.npy文件

# -*- coding: utf-8 -*-"""Created on Thu May 24 16:03:14 2018@author: chrisd"""import caffeimport numpy as npmean_proto_path='×××/mean.binaryproto' #存放mean.binaryproto文件的路径mean_npy_path='××...

原创 caffe 查看caffemodel中的参数与数据

原创 caffe提取任意层深度特征

一.数据模型与准备(1) 进入caffe根目录，创建临时文件夹，用于存放所需要的临时文件cd caffemkdir examples/_temp(2) 根据examples/images文件夹中的图片，创建包含图像列表的txt文件，并添加标签 这里建议参考本人之前的一篇帖子，方便快捷 https://blog.youkuaiyun.com/swiftfake/article/detail...

原创 修改train_val.prototxt为deploy.prototxt文件

一.内容简介 在caffe框架下的深度神经网络一般都会将train和val写在同一个prototxt文件中，然后执行solver文件进行调用执行，并得到最终的accuracy。val是验证的意思，在机器学习里，验证集是训练集的子集，但是我们在做测试的时候，测试集不能和训练集有交集。所有我们需要将train_val.prototxt文件修改成可以做测试的deploy.prototxt文件。在用ca...

原创 caffe 调用多块gpu

一.检测配置 使用命令查看机器里面安装了几块显卡nvidia-smi 二.更改配置文件 在查看到机器里面安装的显卡不止一块时，就可以通过更改配置文件，在编译通过后，就可以使用多个gpu同时运行。设置Makefile.config 打开开关： USE_NCCL := 1， 并添加nccl库路径USE_NCCL := 1 #将之前的注释去掉，打开开关。INCLUDE...

原创 caffe 连接 matlab2016b

一.准备工作 如果前期已经通过了caffe编译，连接了caffe与python，我们需要先将之前的编译清除，如果没有，就不需要多此一举cd caffesudo make clean然后我们要修改Makefile.config配置文件。在之前安装caffe的时候，已经在我的博客里详细记录了需要修改的地方，现在只需修改matlab的路径。将MATLAB_DIR的注释去除，并在将路径...

原创 Ubuntu16.04 搭建ssh

一.安装SSH-server 打开终端，使用超级用户身份安装sshctrl+alt+tsudo suapt-get install openssh-serverapt-get install openssh-clientifconfig #查看本机IP地址确认ssh是否安装成功ps -e | grep ssh*二.启动与关闭ssh服务sudo s...

原创 caffe 制作数据集

一.配置环境及数据准备 我们要在ubuntu16.04系统上先搭建好caffe的环境，确保能正常使用。然后准备好数据集，接下来准备制作我们自己的数据集。如果只是拿来练手，那caffe/examples/images/下的图片就可以先用来练手。 先把最后的成果放上来，有个感性认识 二.目的简介 我们在学习深度（caffe框架）的时候，多数用的都是别人处理好的图片数据集，我们自己手里的图片...

原创 ubuntu16.04 绘制caffe net 网络结构

我们在学习深度的网络的时候，为了能有更好的感性认识，可以使用draw_net.py将caffe net 结构绘制出来安装python所需要的依赖sudo apt-get install python-numpy python-scipy python-matplotlib ipython ipython-notebook python-pandas python-sympy pytho...

原创 ubuntu16.04 安装 matlab2016b

首先去下载matlab2016安装包 然后进行解压 我们可以看到解压之后为以下状态 下面进行正式的安装 一 挂载 在根目录下打开终端（ctrl+alt+t）mkdir /media/matlabcd ..cd linuxmatlab #linuxmatlab 是存放解压文件的文件夹名sudo mount -o loop R2016b_glnxa64_dvd1.is...

原创 mnist数据集转换为图片+测试手写字的demo

mnist手写测试 本文主要参考《caffe-之经典模型详解与实战》 目标：用手写的数字输入到网络进行分类识别。 要求： （1）图片必须是256位黑白色 （2）黑底白字 （3）像素大小为28*28 （4）数字要在图片的中间以下是代码部分#import osimport sys#import numpy as np#import matplotlib.pyplot as ...

原创 ubuntu16.04安装NVIDIA显卡驱动

Ubuntu16.04 安装NVIDIA显卡驱动在安装显卡驱动之前，需要卸载之前安装的显卡驱动，如果你是刚安装的Ubuntu系统，就不用了。首先我们先下载好我们需要的驱动文件，（我的并重命名为NVIDIA.run）并保存到根目录下，这样就省的再找了。ctrl+alt+tsudo apt-get remove --purge nvidia*sudo gedit /etc/mo...

原创 安装windows+Ubuntu双系统

说实话这是一个非常漫长的过程，请需要这篇帖子的朋友能耐心的跟着我的步骤一步一步来，不要着急，作为过来人说句老生常谈的话：在你要放弃的时候，想想当初为何要开始。废话不多说，上干货。首先我来说一下我们需要准备的物件：优盘（最好两个，一个做成windows启动盘，一个做成Ubuntu启动盘；如果只有一个优盘也不要担心，也可以安装），电脑（最好要安装一个固态硬盘跟一个机械硬盘，容易成功）1.下载w

原创 Ubuntu 资源暂时不可用

本人在使用Ubuntu系统的时候，经常会遇到资源暂时不可用的情况，虽然问题不大，但是写一下文档，方便以后学习使用下图就是具体的情况解决方案：sudo rm /var/cache/apt/archives/locksudo rm /var/lib/dpkg/lock ...

原创 Ubuntu16.04 使用apt-get安装软件时无法自动安装所需要的依赖

出现这样的问题，在百度上搜索了解决办法，大都是在Ubuntu里进行设置，本人进行了尝试，但是没有成功，倒不是说方法不好使，可能是因为我没有设置好，所以一直没有解决，我还太真的以为重装系统就没问题了，不管我安装Ubuntu16还是Ubuntu14这个问题都一直出现，说真的我有点崩溃，但是生活还有继续不是吗？由于出现问题的时候我太着急了，没有截图，所以看着有点不大舒畅，还望理解。问题的原因出现在Ubu...

原创 TensorFlow在不同环境下的切换

我们通常大多数都是使用anaconda下封装好的TensorFlow，在使用的时候会因为python的需要而切换TensorFlow的版本，以下是TensorFlow的切换时的命令：shell：首先使用    pyenv versions 查看当前所使用的版本然后使用    pyenv  global ***切换至需要的版本（***指的是使用第一个命令时，所提示的版本信息）最后使用