hadoop熊的专栏

转载 链表队列的java实现

public class LinkQueue<T> { // 定义一个内部类Node，Node实例代表链队列的节点。 private class Node { // 保存节点的数据 private T data; // 指向下个节点的引用 private Node next; // 无参数的构造器

转载 循环队列的java实现

import java.util.Arrays;public class LoopQueue<T> { private int DEFAULT_SIZE = 10; // 保存数组的长度。 private int capacity; // 定义一个数组用于保存循环队列的元素 private Object[] elementData; // 保存循环队

转载 顺序队列的java实现

import java.util.Arrays;public class SequenceQueue<T> { private int DEFAULT_SIZE = 10; // 保存数组的长度。 private int capacity; // 定义一个数组用于保存顺序队列的元素 private Object[] elementData; // 保存

转载 SpringMVC @RequestBody接收Json对象字符串

以前，一直以为在SpringMVC环境中，@RequestBody接收的是一个Json对象，一直在调试代码都没有成功，后来发现，其实 @RequestBody接收的是一个Json对象的字符串，而不是一个Json对象。然而在ajax请求往往传的都是Json对象，后来发现用 JSON.stringify(data)的方式就能将对象变成字符串。同时ajax请求的时候也要指定dataType: "json

转载 postgresql extract (field from source) 获取年月日

extract (field from source) 函数从日期/时间数值里抽取 子域，比如年或者小时等。source 必须是一个类型 timestamp，time，或者 interval 的值表达式。 （类型为 date 的表达式将转换为 timestamp，因此也可以用。） field 是一个标识符 或者字串，它指定从源数据中抽取的数域。extract 函数返回类型为double prec

转载 httpclient向HTTPS发送数据建立SSL连接时的异常

异常信息如下：javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid cer

转载 Java实现Http的Post、Get、代理访问请求

packagecom.snowfigure.kits.net; importjava.io.BufferedReader;  importjava.io.IOException;importjava.io.InputStream;  importjava.io.InputStreamReader;  impor

原创 Could not reserve enough space for object heap 问题解决

当我在linux下运行java -version时，报如下错误：Error occurred during initialization of VMCould not reserve enough space for object heapError: Could not create the Java Virtual Machine.Error: A fatal exceptio

转载 hive文件存储格式

hive在建表是，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式例如： > CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE

转载 详解hadoop1.0 MapReduce job 提交过程

从整个Job运行的流程来看，如下图所示：从上图可以看到，MapReduce运行过程中涉及有4个独立的实体：Client，用于提交MapReduce job。JobTracker，负责协调job的运行。TaskTrackers，运行 job分解后的多个tasks，task主要是负责运行Mapper和Reducer。Distributed filesystem，用于存储上述实体

转载 Hive内部表、外部表区别

hive内部表、外部表区别自不用说，可实际用的时候还是要小心。1. 内部表：[sql] view plaincopyprint?create table tt (name string , age string) location '/input/table_data';  此时，会在hdfs上新建一个tt表的数据存放地，例如，笔者是在 hdfs:/

转载 Storm 是如何跟踪一条消息以及它衍生出来的消息都被成功处理的

我们做 Notify Server 时可以间接借鉴这个解决方案的思路。 Storm 是一个分布式的、容错的实时计算系统，由 Twitter 开源。先不介绍术语和背景知识，直接来一些吸引眼球的内容： 一，Tuple Treespout 发射一个消息(tuple)，可能会导致成百上千的消息基于此消息被创建。这些消息构成一个树状结构，我们称之为“tuple tree”。tup

转载 PostgreSQL修改sql表的方法汇总

文介绍下，在PostgreSQL中修改sql表的方法，包括增加字段、删除字段、删除约束、改变默认值等，有需要的朋友参考下吧。一，修改表PostgreSQL 提供了一族命令用于修改现有表。 可以实现：增加字段，删除字段，增加约束，删除约束，修改默认值，重命名字段，重命名表。这些操作可以用：ALTER TABLE命令执行的。1，增加字段要增加一个字段

转载 HBase技术介绍

HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapRe

转载 python编程_时间日期字符串转换

python获取当前系统时间:nowTime=time.localtime() 获取当前系统日期:nowDate=datetime.datetime(nowTime[0],nowTime[1],nowTime[2]) 日期格式转换：baseTime="20121012" #转换成2012-10-12mouth = baseTime[4:6]year = base

转载 Java GC、新生代、老年代过程

存                                                                                 Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。在 Java 中，堆被划分成两个不同的区域：新生代 ( Young )、老年代 ( Old )。新生代 ( Young ) 又被划分为三个

转载 shell编程—— EOF 实现执行sql，输出结果

psql -h 172.18.65.200 dow_qa <<EOFselect count(*) from site_base.customer;EOF上述shell代码执行结果：[gpadmin@yahoo200 test]$ ./shell.sh 172.18.65.200 dow_qa count------- 1472(1 row)在shell编程

转载 python 学习框架

转载 python 深拷贝与浅拷贝以及list.append( self )

#Python3.2例子：[python] view plaincopyl = list('abc')  a = l  a.append('d')  print(l)  l.append('e')  print(a)  l = list('abcde')  print(id(l))  print(id(a))  可见，a = l 即将 a 作为 l 的引

转载 Google Guava官方教程（中文版）

引言Guava工程包含了若干被Google的 Java项目广泛依赖 的核心库，例如：集合 [collections] 、缓存 [caching] 、原生类型支持 [primitives support] 、并发库 [concurrency libraries] 、通用注解 [common annotations] 、字符串处理 [string processing] 、I/O 等等。 所有这些

转载 python数组的使用

1、Python的数组分三种类型：(1) list 普通的链表，初始化后可以通过特定方法动态增加元素。定义方式：arr = [元素](2) Tuple 固定的数组，一旦定义后，其元素个数是不能再改变的。定义方式：arr = (元素)(2) Dictionary 词典类型， 即是Hash数组。定义方式：arr = {元素k:v}2、下面具体说明这些数组的使

转载 Python正则表达式的用法

http://www.pythonclub.org/python-basic/regexphttp://wiki.ubuntu.org.cn/Python%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E6%93%8D%E4%BD%9C%E6%8C%87%E5%8D%97#.E5.AD.97.E7.AC.A6.E5.8C.B9.E9.85.8D

转载 linux 命令行 光标移动技巧

看一个真正的专家操作命令行绝对是一种很好的体验-光标在单词之间来回穿梭，命令行不同的滚动。在这里强烈建立适应GUI节目的开发者尝试一下在提示符下面工作。但是事情也不是那么简单，还是需要知道“如何去做”。在单词之间跳转，使用Ctrl+左右键。Ctrl+a跳到本行的行首，Ctrl+e则跳到页尾。Ctrl+u删除当前光标前面的文字 ctrl+k-删除当前光标后面的文字Ctrl+w和Alt+d-对于当前的

转载 Hadoop添加删除节点

添加节点1.修改host   和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves   添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@slave

转载 Hadoop常见问题及解决办法

转载于：http://blog.youkuaiyun.com/jiedushi/article/details/66990321：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序

转载 grep -v xxx 用法

grep -v xxx是指不显示包含xxx的行或文件，-v表示取反的意思。举个列子，如果你想取得一个xml文件的内容（去除注释），可以使用下面的命令grep -v "" file.xml因为在xml中注释都是以

转载 linux之cut用法

cut是一个选取命令，就是将一段数据经过分析，取出我们想要的。一般来说，选取信息通常是针对“行”来进行分析的，并不是整篇信息分析的。（1）其语法格式为：cut  [-bn] [file] 或 cut [-c] [file]  或  cut [-df] [file]使用说明cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。如果不指定 File 参

转载 RHEL6.3卸载OpenJDK操作示范

安装好的CentOS会自带OpenJdk,用命令 java -version，会有下面的信息：java version "1.6.0"OpenJDK Runtime Environment (build 1.6.0-b09)OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixedmode)最好还是先卸载掉openjdk,在安装sun公司的

转载 Shell中函数的返回值的一种调用

# !/bin/shsum(){     echo $(($1+$2))     return $(($1-$2))}sum $1 $2c=$(sum $1 $2) echo $?echo $c执行命令：./bashTest 11 1运行结果是：12 —— sum $1 $2的结果10 —— echo $?的结果，因为return的值为101

原创 机器学习资料大全

一个很全的机器学习方方面面的博客：http://www.52ml.net/categories/machinelearning/page/2

原创 Octave tutorial

https://share.coursera.org/wiki/index.php/ML:Octave_Tutorial

转载 机器学习入门：Linear Regression与Normal Equation

本文会讲到： (1)另一种在线性回归方法中求theta值的方法：Normal Equation；(2)Gradient Descent与Normal Equation的优缺点；前面我们通过Gradient Descent的方法进行了线性回归，但是梯度下降有如下特点：(1)需要预先选定Learning rate；(2)需要多次iteration；(3)需要

原创 jenkin搭建

http://www.07net01.com/linux/Jenkinsshiyongjingyantan4_chuangjianJob__662274_1382442168.htmlhttp://birdinroom.blog.51cto.com/7740375/1404930http://my.oschina.net/lanybass/blog/61397切换到root用户

转载 机器学习入门：线性回归及梯度下降

本文转载于：http://blog.youkuaiyun.com/xiazdong/article/details/7950084本文会讲到：(1)线性回归的定义(2)单变量线性回归(3)cost function：评价线性回归是否拟合训练集的方法(4)梯度下降：解决线性回归的方法之一(5)feature scaling：加快梯度下降执行速度的方法(6)多变量线性回归

原创 并查集

并查集可以用来判断一个图是否有回路，就是判断两个点是否有共同的祖先，因为如果两个点有共同的祖先，说明他们有回路1.初始化一个数组f[1]=1f[2]=2f[3]=3f[4]=4f[5]=5f[6]=6

原创 快速排序（Quicksort）

时间负责度N*logN快速排序的要点：（j要先动，再动i）1.随意找到一个基准数，通常选从左边第一个数arr[1]2.比较：两个下标i(从左开始)和j(从右开始)，首先从j开始，找到比基准数小的为止，如果arr[j] > arr[1]，那么j--，直到找到arr[j]    然后从i这边找到比基准数大的为止，如果arr[i] arr[1], i停下3. 然后交换arr[i]和

转载 用vim的查找和替换功能删除行末的空格

删除多余的空格行末：$      行首：^空格：\s行末空格：\s\+$行首空格：^\+\s有些人认为行末的空格是无用，浪费而难看的。要删除这些每行后面多余的空格，可以执行如下命令：:%s/\s\+$//命令前面指明范围是 "%"，所以这会作用于整个文件。"substitute" 命令的匹配模式是"\s\+$"。这表示行末（$）前的一

原创 ridge regression岭回归

岭回归用于处理下面两类问题：1.数据点少于变量个数2.变量间存在共线性岭回归的原理岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价，获得回归系数更为符合实际、更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法。岭回归的原理较为复杂。根据高斯马尔科夫定力，多重相关性并不

转载 Python 字符串操作（string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等）

原文链接去空格及特殊符号s.strip().lstrip().rstrip(',')复制字符串#strcpy(sStr1,sStr2)sStr1 = 'strcpy'sStr2 = sStr1sStr1 = 'strcpy2'print sStr2连接字符串#strcat(sStr1,sStr2)sStr1 = 'strcat'sStr2

原创 矩阵

1.矩阵的秩矩阵A中非零子式的最高阶数称为矩阵A的秩什么是矩阵的子式：      [1,2,3,4]       [1,2]A= [2,3,5,4] => [2,3] 就矩阵A的二阶子式      [2,4,5,6]子式的最大阶数是矩阵A行和列阶数的最小值