- 博客(80)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hive笔记
[TOC] 架构在Hadoop之上，提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 hive是一个数据仓库工具，作用是可以将结构化的数据文件映射为一张数据库表，并提供简单查询功能，可以将sql语句转化为Mapreduce任务进行，是在Hadoop上的数据库基础架构。 Hive 不是一个关系数据库/实时查询和行级更新的语言.Hadoop是一个开源框架来存储和处理
2018-04-24 17:26:55
517
原创 Spring+Quartz实现定时任务的配置方法
实现比较麻烦，建议看前一篇实现使用注解的方式，更简洁。普通类方法。例子主要功能，每分钟输出“everyMinute”，每天18点输出“hours”1.增加依赖库：<dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support&...
2018-03-01 17:22:56
527
1
原创 spring用Scheduled注解方式实现定时任务
1.spring配置文件中写：<!-spring扫描注解包的配置--><context:component-scan base-package="XXX" /><!—开启这个配置，spring才能识别@Scheduled注解 --><task:annotation-driven/>2.定时任务的类import lombok.extern.slf...
2018-03-01 17:11:58
669
原创 spring 自定义注解实现日志统一处理
需求：通过注解的方式 统一处理controller和service的日志（实现上可能不太严谨，主要是实现流程）原理：先自定义注解。用aop切面拦截方法的使用，看是否有对应的自定义的注解，如果有，在切面中进行日志的统一打印，可以获取到加了注解方法的类名、方法名、参数。如果想每个方法传进来不同信息，可以在自定义注解里写上参数，这样在使用时就可以带进来不同信息。例如，spring自带的注解@Resour...
2018-03-01 12:16:13
2511
原创 ignore-resource-not-found和ignore-unresolvable
.ignore-resource-not-found和ignore-unresolvable两个属性是类似的作用（网上说推荐配对使用，但很少看到配对使用的 ）如果location中的文件指向了一个不存在的文件（在没有指定上面两个参数的情况下，spring也并不会报错），那么也极有可能意味着有属性无法解析（虽然存在其他属性文件中存在重名，但是这个是应该避免的，所以当ignore-resource-n...
2018-03-01 12:08:26
15266
原创 关于Class.getResource和ClassLoader.getResource的路径问题
cahttp://www.cnblogs.com/yejg1212/p/3270152.html（有详细例子，建议看）http://blog.youkuaiyun.com/netbug_nb/article/details/46121037（有详细例子）总结：1.Class.getResource（“”）括号中最前面加不加/的效果不同，总结是有/就会取根目录下找，没有就在当前路径下找。加/ ：是取得class...
2018-03-01 11:56:12
485
原创 spring 自定义注解实现登陆拦截
需求：自定义一个注解，使得controller层的类或者方法在写上这个注解后，会有登陆验证。实现原理：（1）先写一个自定义注解，注解上可以通过注释确定是类/方法可以加此注解。（2）之后，写一个拦截器，拦截器内可以通过handler得到被拦截器拦截的类或者方法，之后可以通过这个类/方法得知它是否有之前写的注解，如果有，就需要登陆校验。（3）之后要把这个拦截器配置到spring-mvc的配置文件中，需...
2018-03-01 11:28:55
1659
1
原创 朴素贝叶斯（二）实现NBCorpus分类（附代码和数据）
理论可参考 ：朴素贝叶斯（一）公式：（P(x)为常数，可忽略不考虑）平滑：Nyk是类别为yk的样本个数，n是特征的维数，Nyk,xi是类别为yk的样本中，第i维特征的值是xi的样本个数，α是平滑值。在对NBCorpus词分类时，带入上面的公式可得：某词属于某类别的概率 = （该类别该词的个数 + 1/ 该类别词的总数 + 所有类别所有不重复单词总数） ×（该类别样本个数 / 所有类别总样本个数）...
2018-02-28 14:37:54
1129
原创 朴素贝叶斯（一）
朴素贝叶斯（Naive Bayes）是一种简单的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。总结1、朴素贝叶斯有个前提的假设：每个条件（属性）互相之间是独立的。2、最初公式的分母是一个常数，忽略不计。3、在做词分类时，考虑到词很多需要做大量的乘法会影响效率，再者小数的乘法会越乘越小导致数据很小丢失数据，因此对最终的公式做ln处理，不影响单调性，把乘法转换成加法。4、为了防止在...
2018-02-28 14:18:46
2512
原创 numpy常用方法
求平均值 mean求方差 std3numpy scipy pandas 区别读mat文件 loadmat求几次方数组求和 sum排序下标 argsortdict getdict排序 sorted统计次数 bincount最大小值max最大小值的下标argmaxnprandomuniformstart end size13np的flatten vs ravelnpmgrid 生成网格15 npaminamax npminmaxnpvstacktuple nphstacktuple
2018-02-26 11:28:05
675
原创 最大似然
最小二乘法 思想是 求欧式距离最小值。 即求出一条线，样本距离这条线的和最小。最大似然符和高斯分布时，和最小二乘法的结果一样。最大似然是站在概率上考虑的，推导出一个概率函数表示目标函数，它希望这个概率函数 越大越好。最大似然中心思想，假设拿出来的样本数据有很大的参考性，用这个样本数据反推“导致”这个结果的参数。
2018-02-26 11:20:58
433
原创 一个奇特的脚本输出日志方式-----记录时间方式
我的python是野路子出身，平常会写一些脚本处理少量数据。当然处理数据的过程中，都要有一些输出记录脚本是否是在执行或者是程序中间出错卡死了，一般的办法是在处理完一个文件就做一个输出，但是当要处理的文件很小数量很多，这时每个文件的处理很快脚本的输出会占用很多时间（当输出时间大于处理时间时，嘻嘻嘻～）。我看过的源码一种解决方式是，记录处理个数，每1000个做一次输出。而今天说的是我前几日又看的一段开
2016-11-09 21:26:49
1333
转载 机器学习经典之PCA的数学原理（很值得读）
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。当然我并不打算把文章写成
2016-08-28 17:47:20
3307
1
原创 hadoop时遇到遇到ERROR security.UserGroupInformation: PriviledgedActionException as:xxxx cause:java.io.I
在windows下的eclipse里操纵ubuntu远程跑hadoop项目遇到问题：ERROR security.UserGroupInformation: PriviledgedActionException as:chenli cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-chenli\mapred\staging\chenli1971412180\.staging to 0700Exception
2016-07-18 23:24:35
3989
原创 做java时一些问题的解决
1、java.lang.classnotfoundexception（这个是在做hadoop时遇到）2.改了java home，但是java -version仍然是原来的版本3.这个也是hadoop时出现的错16/01/01 21:48:01 WARN mapred.LocalJobRunner: job_local_0001 java.lang.NullPointerException4.对字符串使用replaceAll()方法替换 * ? + / | 等字符的时候会报以下异常：Dangling m
2016-07-18 23:12:22
812
原创 faster rcnn源码解读总结
1.初始数据通过imdb类的操作放在它的属性roidb里。2.roidb只是一个字典，可以拿出来当做一个单独的字典，脱离imdb。3.roi_data_layer下的layer就是input-data。Forward中加载数据并控制一次一张图片的数据进入网络。送到rpn-data中三组数据： gt_boxes ：大小（一张图片xml中box个数, 5）；一张图中box的坐标以
2016-07-18 22:01:46
6444
3
原创 faster rcnn源码解读（六）之minibatch
faster rcnn用python版本的https://github.com/rbgirshick/py-faster-rcnnminibatch源码：https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/roi_data_layer/minibatch.py源码：# ------------------------
2016-07-18 21:57:16
8712
2
原创 faster rcnn源码解读（五）之layer（网络里的input-data）
faster rcnn用python版本的https://github.com/rbgirshick/py-faster-rcnnlayer源码地址：https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/roi_data_layer/layer.py源码：# ------------------------------
2016-07-18 21:47:02
5840
原创 faster rcnn源码解读（四）之数据类型imdb.py和pascal_voc.py（主要是imdb和roidb数据类型的解说）
faster用python版本的https://github.com/rbgirshick/py-faster-rcnnimdb.py源码地址：https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/datasets/imdb.pyimdb源码：# ------------------------------------
2016-07-18 21:35:30
7286
原创 faster rcnn源码解读（三）train_faster_rcnn_alt_opt.py
faster用python版本的https://github.com/rbgirshick/py-faster-rcnntrain_faster_rcnn_alt_opt.py源码在https://github.com/rbgirshick/py-faster-rcnn/blob/master/tools/train_faster_rcnn_alt_opt.pyfaster rcnn训
2016-07-18 20:56:53
3651
原创 faster rcnn源码理解（二）之AnchorTargetLayer（网络中的rpn_data）
faster用python版本的https://github.com/rbgirshick/py-faster-rcnnAnchorTargetLayer源码在https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/rpn/anchor_target_layer.py源码粘贴：# ------------------
2016-07-18 15:52:06
8319
2
原创 caffe 数据库LMDB的读写
读写的图片都是灰度图，rgb图类似一、读数据（图片的channel是2，其实是两张图片）：import syssys.path.insert(0,"../../python")import numpy as npimport lmdbimport caffeimport argparsefrom matplotlib import pyplotif __name__ =
2016-07-05 20:50:56
12747
11
原创 计算机视觉与图像新手的心酸胡扯
我做计算机视觉有半年左右，也是现在现在很火的深度学习。有人说这个是“技术大爆炸”，突然冒出大批人来搞深度学习。但是我现在不想说深度学习，只想说说它的辅助工作---图片处理基础。 我是因为读研才开始基础计算机视觉，之前什么都不懂，是真的什么都不懂。然后实验室还是新开设的这个项目，也就是说，实验室也不会有人来指导我如何做，那时只有老师说要什么东西，我就得自己各种的查找来完成，现在想想还是
2016-06-30 23:03:39
1273
原创 ubuntu storm安装配置
一、安装准备： JDK、ssh、python。安装都比较简单，我之前做别的时候已经安装，此处不再详述。 ssh的安装和服务启动可以参见我的另一个讲hadoop安装的文章。而且我的storm集群和hadoop相同，都是配置在三台虚拟机上的，用户组及用户名和hadoop那个一样，都要求用户名是hadoop二、安装zookeeper集群（三台虚拟机） 前
2016-06-11 23:47:38
3513
原创 开发还是算法，一直困惑我的问题
研究生妹纸一枚，方向是深度学习。马上要面临紧张的秋招。 我原本这个项目很多人都不看好，都说不好找工作。那时我是真头疼，马上要找工作了，没有项目经验。后来”人机大战“，阿尔法狗获得胜利。我也觉得没啥，但身边做这个项目的都特别高兴，好像机器人赢了，就是我们程序员的胜利。我自己本身很喜欢编程，喜欢各种的技术。 前一个月是实习生招聘，发现我的方向出奇的好找工作，呵呵（猜测是阿尔法狗对很多企
2016-05-19 21:38:08
12939
13
原创 faster rcnn的源码理解（一）SmoothL1LossLayer论文与代码的结合理解
源码：// ------------------------------------------------------------------// Fast R-CNN// Copyright (c) 2015 Microsoft// Licensed under The MIT License [see fast-rcnn/LICENSE for details]// Writte
2016-05-19 20:55:57
11764
原创 faster rcnn修改demo.py保存网络中间结果
faster rcnn用python版本https://github.com/rbgirshick/py-faster-rcnn以demo.py中默认网络VGG16.原本demo.py地址https://github.com/rbgirshick/py-faster-rcnn/blob/master/tools/demo.py图有点多，贴一个图的本分结果出来：上图是原图
2016-05-17 21:49:54
9042
3
原创 python数据分析之numpy初始化（一）
1np.arange([start,] end [, step])#与list的range相似np.zeros(tupleA)#产生一个tupleA维度大小的矩阵，且初始全为0np.ones(tupleA)#与上面类似，只是初始化全为1np.empty(tupleA)#与上面类似，只是初始化值是不确定的（并不是你以为的0！！！！）。。。
2016-05-16 23:14:57
35950
原创 ubuntu14.04+GPU+caffe
非常建议ubuntu14.04的系统一、执行下面的操作，然后验证硬件支持GPU CUDA，只要型号存在于https://developer.nvidia.com/cuda-gpus，就没问题了 $ lspci | grep -i nvidia （GPU买之前是专门查过的，这个地方不太重要）二、确定你的系统是否支持 $ uname -m && cat /e
2016-05-12 20:38:45
3190
原创 程序员修炼之道----从小工到大家读书笔记（一）
5月6 偶然看到这本书，以前去公司实习，上司就说过这本书，他说“你把这本书看完，工作就不用看其他书了”。一直感叹它的神奇，却未曾观看，今日有幸见到，真想对它说“我来晚了，幸会幸会”。
2016-05-06 22:08:39
1231
1
原创 用图形画出caffe输出数据的python程序&&git基础命令
caffe的训练过程输出的数据用图形显示出来。先上效果图： 图形说明：x是迭代次数，y左是train loss；y右是test accuracy。绿色是左边的线，红色是右边的线。 提醒：slover的格式必须是标准格式，如，冒号后边要有空格。。。。好吧，是我懒得做处理了，反正，就酱~ 下载： git clone https://github.com/m
2016-05-05 22:18:39
1322
1
原创 python数据处理之列表、集合、字典推导式
1.列表： [expr for item in collection if condition] 举例：>>> result = []>>> [result.append(item) for item in fruit if len(item) > 5][None, None]>>> result['banana', 'orange'] 效果与下面类似： >>> r
2016-04-21 23:14:14
3546
原创 初级cnn研究辅助：python的matplotlib显示图片 之 按钮和触发事件
一、点击显示出来的图片，出现别的：点击左侧图片，显示右侧图片，并在你点击的位置画点。from matplotlib import pyplot as pyfrom matplotlib.widgets import Button,RadioButtonsimport Imagedef on_press(event): if event.inaxes == None:
2016-04-10 22:39:57
12510
原创 初级cnn研究辅助：python的matplotlib显示图片
一、简单例子：# -*- coding=UTF-8 -*-import Imagefrom matplotlib import pyplot as pltif __name__ == "__main__": img = Image.open("./Alex.jpg") img_gray = img.convert("L") fig = plt.figure()
2016-04-10 21:23:12
14533
原创 python+caffe做图片处理可能会用到的方法
1、numpy.array(image)和Image.fromarray(np_data)可以实现图片和numpy数据的转化。 另外参考我的这篇和这篇，了解更多的图片处理。2、random.randint(start, end)#start到end间随机数。start=<num<=endrandom.shuffle(list)#list以行随机打乱，用于存入数据库时的t
2016-04-10 19:31:25
1559
原创 python的Image和skimage处理图片
一、import Imageimg = Image.open(path)#打开图片 img.getpixel((height, width))#得到(height, width)处的像素值（可能是一个list，3通道）img.convert("L")#转灰度图size = (64, 64)img.resize(size, Image.ANTIALIAS)#改变尺寸 box =
2016-04-10 17:28:30
30606
原创 matlab安装遇到问题/install/Matlab/bin/util/oscheck.sh: /lib64/libc.so.6: not found
1./home/cl/install/Matlab/bin/util/oscheck.sh: /lib64/libc.so.6: not found 解决：locate libc.so定位出lib.so的位置然后软连接：ln -s /lib/x86_64-linux-gnu/libc.so.6 /lib64/libc.so.62.出现找不到jre的情况，
2016-04-10 15:17:30
1890
原创 caffe用python时可能需要的模块安装
1.ImportError: No module named Cython.Distutils2.ImportError: No module named easydict3.ubuntu python安装 sklearn.utils4.ubuntu python安装 pandas.io.parsers5.ImportError: No module named cv26.ImportError: No module named yaml
2016-04-10 15:02:19
23654
原创 python图片处理Image和skimage的不同
做cnn的难免要做大量的图片处理。由于接手项目时间不长，且是新项目，老板又一直逼我，前段时间写代码都很赶，现在稍微总结（恩，总结是个好习惯）。1,首先安装python-Image和python-skimage、python-matplotlib。 简单代码：import Image as imgimport osfrom matplotlib import pyplot as p
2016-03-27 21:31:51
18368
原创 fast-rcnn训练自己数据集以及demo代码解读和总结（面向fast-rcnn初学者）
首先推荐文章，里面有讲如何安装fast-rcnn，以及编译。或者我直接把fast-rcnn的地址写出来：https://github.com/rbgirshick/fast-rcnn一.最后的demo.py（地址：https://github.com/rbgirshick/fast-rcnn/blob/master/tools/demo.py）的代码解读： 1.获取
2016-03-27 15:20:21
8163
NBCorpus（只是为了代码，很小的一部分）
2018-02-28
修改过的hadoop-core-1.0.2.jar
2016-01-21
windows下的Python-2.7.6运行平台
2015-09-09
编译原理实验之预测分析算法的设计与实现
2014-09-09
python matplotlib显示单色图问题
2016-01-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人