Bicelove-优快云博客

原创 vim 删除每行前/后n个字符

vi下编辑文本：1、删除每行前10个字符：:%s/^.\{10\}//g2、删除每行后2个字符：:2,$s/.$//

2017-03-03 11:36:40 36104

原创 Ubuntu 解析以逗号“，”分割数据的csv文件

案例：有csv文件：test.csv文件包含多列信息，且以逗号分割：url,photoID,childID,logoID,logoScore,...,logoID,logoScore以逗号解析第一列：cut -d ',' -f 1 test.csv以逗号解析第二列：

2016-08-18 12:14:12 1492

原创 Ubuntu下使得其他客户机可以下载自己的数据

1、检查本机是否安装Apache在浏览器中输入：127.0.0.1, 如果可以打开Ubuntu Apache配置页面，则表示安装成功。否则，表明未安装Apache。2、安装ApachePlan A：sudo apt-get install apache2Plan B：到官网下载：apache2.0: httpd-2.0.63.tar.gz下载完成

2016-08-15 15:53:40 523

原创 Ubuntu下向gitlab提交代码

1、clone新的分支到本地命令：git clone -b "your project name" git@host:~/module-ads-image-classifier.git （注： module-ads-image-classifier 为已存在的项目名，欲将"your project name"放在该项目下）若已存在本地分支 module-ads-image-c

2016-08-10 18:08:40 4899

原创 Ubuntu下打乱txt文件行序

已有文件train.txt,欲将其按行打乱，每行内容则保持不变，命令：cd 存放文件的路径awk 'BEGIN{ 100000*srand();}{ printf "%s %s\n", rand(), $0}' train.txt |sort -k1n | awk '{gsub($1FS,""); print $0}' 但这样处理后只是在屏幕上输出显示，如果需要将输出写入新的文本tra

2016-01-07 13:55:20 5259

原创 Ubuntu 下对文本文件每行行首进行追加、替换

现在需要对txt文件的每行行首加上绝对路径，一开始编写的shell脚本，提示更改成功了，但不知为何没有保存进源文件里面，于是换了vim打开文件进行修改。1、首先，因为绝对路径里包含/这样的字符，可以使用\进行转义，假定要修改的文件名为test.txt，要在行首加入字符：/finetune_caviar/，shell脚本编写如下：sed 's/^/\/finetune_caviar\/&/g

2015-09-13 17:40:38 7161

原创 int _tmain(int argc, _TCHAR* argv[])字符串参数转整型

1、字符串参数：string video_dir = T2A(argv[1]);2、整型参数：int det_start = _tstoi(argv[2]);参考：1、c/c++ int _tmain(int argc, _TCHAR* argv[])2、_TCHAR转int，int转_TCHAR3、_tmain(int argc, _TCHAR* ARGV[])下命令行参数用法4、Unicode...

2018-03-28 14:41:51 6604

原创 python3下使用cv2.imwrite存储视频帧

def getFrame(videoPath, svPath): cap = cv2.VideoCapture(videoPath) numFrame = 0 while True: if cap.grab(): flag, frame = cap.retrieve() if not flag:

2018-01-27 18:46:02 8846

原创 Linux下的split 命令——将一个大文件根据行数平均分成若干个小文件

例如：将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，每个文件10000行，文件名称后缀为4位数字形式命令：split -l 10000 BLM.txt -d -a 4 BLM_解析：每个文件10000行(-l 10000)；文件名称后缀系数不是字母而是数字（-d）；后缀系数为四位数（-a 4）

2017-12-20 21:40:39 15544

原创 undefined reference to symbol 'cvReleaseImage'

makefile编译错误：/usr/bin/ld: /tmp/ccSjb8MC.o: undefined reference to symbol 'cvReleaseImage'/usr/lib64/libopencv_core.so.2.4: error adding symbols: DSO missing from command line该问题提示cvReleaseImage定义在

2017-12-19 11:12:47 1073

原创 python 不同方式读取文件速度不同

1、按行读取较慢较耗时： srcFiles = open('inputFile.txt', 'r') for file_path in srcFiles: file_path = file_path.rstrip()2、快速读取所有行： with open('inputFile.txt', 'r') as fRead: srcPaths = f

2017-09-21 16:40:33 9231

原创查看文件md5码

linux下命令：md5sum fileName

2017-09-14 21:21:49 2968

原创 C++ 浮点数比较

“大于”“小于”“等于”比较float v1 = 1.0;float v2 = 1.0;两数并不满足v1 >= v2 或者 v1 abs(v1 - v2) >= 1e-7abs(v1 - v2)

2017-07-27 16:20:24 4526 2

原创 Caffe之网络输出

1、fc层例如caffenet的fc8层：layer { name: "fc8" type: "InnerProduct" bottom: "fc7" top: "fc8" param { lr_mult: 1 decay_mult: 1 } param { lr_mult: 2

2017-05-10 11:32:54 2098

原创 TensorFlow tips笔记

几个概念：1、graph(图)即计算任务2、op(operation缩写)一个完成任务的步骤3、session(会话)实现图和计算内核的交互。$ python #进入python语言环境,出现>>>即代表进入了>>> import tensorflow as tf #1,声明引用te

2017-03-23 16:08:49 873

转载 TensorFlow 1.0 重大功能及改善

转自：TensorFlow 1.0 重大功能及改善1、添加了新的python 3 docker图像。2、使pip包兼容pypi。TensorFlow现在可以通过 [pip install tensorflow] 命令安装。3、更改了几个python API的调用方式，使其更类似 NumPy。4、新的（实验版）Java API。5、Android：全新人物检测

2017-03-23 15:38:11 2317

原创 tensorflow 变量定义路径//问题

1、问题描述刚接触python，在tensorflow下测试inception_v3微调模型，书写变量路径如下：PRETRAINED_CHECKPOINT_DIR=/tmp/checkpoints/后面有变量引用如下： --checkpoint_path=${PRETRAINED_CHECKPOINT_DIR}/inception_v3.ckpt \运行.py文件后，提示不能找

2017-03-23 11:29:27 1469

原创 python 解释器查找路径问题

1、问题描述：在当前目录models-master下import某个module，该module位于当前目录下，但import后却提示：File "autoencoder/AutoencoderRunner.py", line 8, in from autoencoder.autoencoder_models.Autoencoder import Autoencoderimpo

2017-03-22 17:29:21 3761

原创 tensorflow 错误ImportError: No module named sklearn

1、错误如下：ImportError: No module named sklearn2、解决：pip install --user --install-option="--prefix=" -U scikit-learn

2017-03-22 16:44:39 4855

原创 Matplotlib 绘图并保存图像

下述代码源于参考TensorFlow入门一中线性回归的实现，想将结果图片保存查看。1、导入文件：import matplotlibmatplotlib.use('Agg')import matplotlib.pyplot as plt前两行是我添加的，因为我使用的是tensorflow1.0.0版本，运行.py文件中出现错误提示：File "/usr/lib

2017-03-21 18:41:57 95431 6

原创 tensorflow source */tensorflow/bin/activate问题

1、按照tensorflow安装提示，使用下述命令激活virtualenv环境并成功安装tensorflow： source ~/tensorflow/bin/activate 在python环境中可以成功执行import tensorflow as tf2、为了避免每次使用tensorflow都要进行activate/deactivate，我在～/.bashrc中

2017-03-21 18:02:05 5550

原创 C++ 图像边界扩充函数copyMakeBorder

实验目的：将任意一张图片按其最长边扩展为正方形图片：1、Mat实现//int expandImg( const Mat srcImg, Mat &dstImg){ if(!srcImg.data || srcImg.channels()!=3){ cout<<"Can't open srcImg!"<< endl;

2017-03-16 15:56:36 4977 1

原创 matlab 绘制caffe accuracy与loss曲线

1、问题描述在caffe中微调自己的模型时，将日志文件保存为log.txt，再对其进行解析，绘制accuracy及loss曲线；2、matlab实现clc;clear;% load the log file of caffe modelfid = fopen('log.txt', 'r');tline = fgetl(fid);%get arrays to dra

2017-03-08 15:45:07 3952 1

原创 data augmentation 数据增强方法总结

1、问题描述收集数据准备微调深度学习模型时，经常会遇到某些分类数据严重不足的情况，另外数据集过小容易造成模型的过拟合。本文参考和中对于数据增强方法的一些tips，后续会附上自己实现的C++代码；2、data augmentation常用方法Color Jittering：对颜色的数据增强：图像亮度、饱和度、对比度变化（此处对色彩抖动的理解不知是否得当）；PCA J

2017-03-07 14:34:44 48504 13

原创深度学习tips总结

注：本文是在阅读新智元的文章后总结，文中不少语句参考了原文作者，请知晓。1、shuffle：在框架允许的前提下，每个epoch要shuffle一次;2、扩展数据集：小数据集容易使得模型过拟合，但过分扩展会使得大都相同的数据，需采取一定的方法，避免出现相同的样本（尝试中）；3、在非常小的子数据集上训练进行过拟合，再在整个数据集上训练：以确定网络可以收敛；4、始终是用dropo

2017-03-07 10:45:47 995 1

原创 C++ fopen按行读取文件及所读取的数据问题

1、已有文本文件：string dataList;使用fopen读取：FILE *fpListFile = fopen(dataList.c_str(), "r");if (!fpListFile){ cout << "0.can't open " << dataList << endl; return -1;}2、按行读取数据：方法一：char loadIm

2017-03-03 20:50:30 13807

原创 C++ vector<int>向量越界。。。运行段错误退出但gdb未定义到错误位置

又是一段辛酸史，又是自己的粗心。。。（大哭中）1、问题描述处理一个图像分类问题，本来只是简单得统计下测试集的查准和查全，由于不停在调整分类大小，所以首先使用宏定义类的大小为NUMCLASS：#define NUMClASS 54 然后，声明vector向量时初始化了其大小如下：vector numLabels(NUMClASS, 0);vector numAccuracy(NUM

2017-03-03 17:16:08 2929 1

原创图像分类笔记

声明：本文笔记是阅读知乎杜客的图像分类笔记系列而总结，文中不少语句参考了原文作者，请知晓。1、分类问题已有固定分类标签，对于输入的图像，预测其所属的分类标签。2、问题难点图像视角变化（viewpoint variation）图像大小变化（scale variation）图像形变（deformation）图像遮挡（occlusion）图像光照条件（illumi

2017-03-02 14:13:06 1669 1

原创 C++ access函数所需包含的头文件

1、编译包含access函数的源码时，提示：错误： ‘access’在此作用域中尚未声明其中，已包含头文件如下：#include #include #include #include #include

2017-02-15 16:03:14 27994 1

原创 C++ int转string

1、问题描述：对于已有int及string：int value = 10;string str = "num_";欲将value与str组成新的字符串；2、方法实现：//使用stringstream需要添加头文件#include stringstream stream;stream<<value; string_temp = stream.str();//新的

2017-01-18 15:38:42 648

原创 C++ RGB图片限定最长边进行resize

1、功能描述：对于已有图片，限定其最长边在某个值之内（最短边原理一致）;2、IplImage*代码实现：IplImage *ReadImageToResize( IplImage* pSrcImage, //原图 const int l_side) //最长边阈值 { int height , width; //

2017-01-06 19:41:31 1267

原创 /lib64/libboost_system.so.1.53.0: could not read symbols: 无效的操作

1、问题描述：如下makefile：###### compilerCXX :=g++CC :=gcc#shared librarySFLAG := -fPIC -shared####### includeINCLUDE = -I/usr/local/include -I/usr/local/cuda/include -I/usr/local/atlas/include###

2016-12-19 19:41:41 2653 1

原创 undefined reference to `memcpy@GLIBC_2.14'

1、问题描述：原makefile如下：###### compiler ######CXX :=g++CC :=gcc###### shared library ######SFLAG := -fPIC -shared###### include && lib ######INCLUDE = -I/usr/local/include -I/usr/local/cuda/inclu

2016-12-15 21:14:22 13197

原创 /usr/local/lib/libopencv_highgui.so：对‘TIFFIsTiled@LIBTIFF_4.0’未定义的引用

1、问题描述：在编译普通C++文件的makefile时，一直有如题等问题出现，如下：/usr/local/lib/libopencv_highgui.so：对‘TIFFIsTiled@LIBTIFF_4.0’未定义的引用/usr/local/lib/libopencv_highgui.so：对‘TIFFOpen@LIBTIFF_4.0’未定义的引用/usr/local/lib/libo

2016-12-13 15:27:33 10356

原创 C++ char* 的若干问题之二：char*作为形参能否影响实参的值

有如下方法：int readFeat(char* param){ param = (char *) malloc(10 * sizeof(char)); param = "test char"; param = '\0'; return 0;}在该方法中，param进行malloc时重新指向了新申请的空间，地址已不再是送入函数时的指向了，同时它也无法影响到实参的...

2016-12-12 21:09:50 4983 2

原创 C++ char* 的若干问题之一

已有方法： //十进制转二进制char* decimal2binary( int numth) { string key; bitset t; t = numth; key = t.to_string(); char* ch = const_cast(key.c_str()); //const char* 转 char* return ch;}有如下调用：char

2016-12-12 20:49:06 644

原创 Linux 当前账户下profile位置

~/.bash_profile

2016-12-08 14:24:05 7147

原创 Ubuntu下编译C++文件——致命错误：写入 /tmp/ccR5mEZB.s 时出错：设备上没有空间

1、问题描述：书写C++代码进行编译时，针对多个.cpp文件生成.o文件时出现错误，如下：致命错误：写入 /tmp/ccR5mEZB.s 时出错：设备上没有空间2、问题解决：自己指定临时编译环境，不使用系统/tmp目录：mkdir /home/user/tmpexport TMPDIR=/home/user/tmp其中，第一行命令表示在/home/user

2016-11-21 18:20:32 5526

原创 Caffe 将train与val分开手动进行

1、问题描述：（1）Linux服务器上有四块GTX1080的显卡，每块8G；（2）现在要微调测试模型InceptionBN_21K，即googlenet v2；（3）文章链接：https://arxiv.org/abs/1512.00567（4）Github代码：https://github.com/pertusa/InceptionBN-21K-for-Caffe（5）我在

2016-11-16 11:05:53 2619

原创 C++ 不能通过‘...’传递有不能平凡复制的类型‘const string {aka const class std::basic_string<char>}’

源码：char szImgPath[1000];string loadImgPath;//string to char*sprintf( szImgPath, "%s.jpg", loadImgPath ); //char* to stringloadImgPath = szImgPath;该代码编译到sprintf时会提示以下错误：不能通过‘...’传递有不能平凡复制的

2016-11-03 17:09:49 15606