落涯-优快云博客

转载 hadoop的新旧api

hadoop的core下面有两种api，新的api在org.apache.hadoop.mapreduce.*包下面，而旧的api则在org.apache.hadoop.mapred.*下。http://blog.youkuaiyun.com/sun_168/article/details/75773461. 首先第一条，也是小菜今天碰到这些问题的原因，新旧API不兼容。所以，以前用

2013-06-08 13:43:11 1210

原创 Centos下安装JAVA

1 Centos安装JAVAputty和winscp等软件的安装请参考其它文档。1.1 JDK下载JAVA的官网地址为：http://www.oracle.com/technetwork/java/javase/downloads，由于我们安装的Centos的版本为64位，请下载Linux系统的64位版本的JDK。本文下载的文件为：jdk-6u45-linux-x64.

2013-05-27 16:35:43 1925

ERROR [org.apache.hadoop.conf.Configuration] - Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl@9e1be92:java.lang.UnsupportedOperationException: This p

2013-05-23 20:47:31 2101

原创 centos用户操作

3.使用命令管理账户useradd 选项用户名//添加新用户usermod 选项用户名//修改已经存在的用户userdel -r 用户名//删除用户表示自家目录一起删除。groupadd 选项组名// 添加新组groupmod 选项组名//修改已经存在的组groupdel 组名 //删除已经存在的特定组。例子usera

2013-05-22 23:17:03 991

原创 redis与Spring集成

redis与Spring集成比较简单，本文不涉及Spring的一些基本概念，读都需先具备Spring的相关知识。先在maven中添加依赖pom.xml redis.clients jedis 2.0.0 applicationContext-redis.xml加入你的Spring context<beans xmlns="http://www

2013-05-22 16:01:30 3406 1

原创 redis的安装

首先，上http://redis.io/下载redis的源码包。我下载的包为redis-2.6.13.tar.gz，下面介绍安装方法：/home/redis-2.6.13.tar.gz我把文件放在这个目录下，你也可以放在其它的目录，cd /home进入文件存放目录tar -zxvf redis-2.6.13.tar.gz可以看到生成了/home/re

2013-05-22 15:34:14 1600

转载 Centos网络设置，开关机命令，iptables

一、CentOS 修改IP地址修改对应网卡的IP地址的配置文件# vi /etc/sysconfig/network-scripts/ifcfg-eth0修改以下内容DEVICE=eth0 #描述网卡对应的设备别名，例如ifcfg-eth0的文件中它为eth0BOOTPROTO=static #设置网卡获得ip地址的方式，可能的选项为static，dhcp或boot

2013-05-18 21:43:19 1899

原创 mvn打包Spring程序namespace can't be located等解决办法

当使用maven打包Spring程序的时候，打包完成之后，各种原因，程序执行不了，表现方式多种多样：Example 1: The spring-context-2.5.xsd can't be found: WARN org.springframework.beans.factory.xml.XmlBeanDefinitionReader - Ignored XML validation w

2013-05-18 17:05:26 1850

原创 mongodb中使用mapreduce

本文主要讲怎么在mongodb中使用mapreduce，而不涉及Spring与Mongodb整合等内容，如想了解这些，请参考我的其它文章。这个例子主要目的是：统计每个名字有多少人重名。import org.springframework.context.ApplicationContext;import org.springframework.context.support.FileSy

2013-05-16 12:48:45 1868

原创 java中使用JSCH包，SFTP及SSH2文件操作及远程命令执行（改进）

我写过一篇java中使用JSCH包，SFTP及SSH2文件操作及远程命令执行，现在想来，觉得调用方式太过于绕，不符合我写程序的风格，所以进行了改进。参数类，用于配置连接的参数，SshConfiguration.java/** * */package com.versou.util.jsch;/** * @author hadoop * */pub

2013-05-16 00:32:52 5261

原创 hadoop倒排索引

看到很多的hadoop关于倒排索引的例子，但是我想写一个属于我自己的，加入了本人对于hadoop中mapreduce的理解。有下面三篇文章：accident.txtCHENGDU - Death toll from a colliery blast on Saturday in southwest China's Sichuan Province rose to 27, local

2013-05-13 23:50:52 2346

原创 java中使用JSCH包，SFTP及SSH2文件操作及远程命令执行

SFTPConstants.java，定义我们需要使用的一些参数名称：public class SFTPConstants { public static final String SFTP_REQ_HOST = "host"; public static final String SFTP_REQ_PORT = "port"; public static final

2013-05-13 22:13:54 4551

转载 3张表以上，关联查询

左连接left join 怎么将3张表连接起来我有3张表ORACLE10G 以WORKFLOW_BASE为基准， HRMSUBCOMPANY 和 WORKFLOW_TYPE 1。WORKFLOW_BASE和HRMSUBCOMPANY SELECT a.ID 工作流ID,a.WORKFLOWNAME 工作流名称,a.WORKFLOWTYPE 类型,a.SUBCOMPANYID 分部I

2013-05-13 12:40:56 6894

原创 Spring Mongodb集成

Maven的安装及使用等，请参考我的其它文章，费话不多说，先添加依赖：pom.xml 3.0.7.RELEASE org.springframework spring-context ${org.springframework.version} org.springframework spring-core ${

2013-05-12 10:05:55 2401

原创 mongodb的安装

本文以32位的程序为例，去http://www.mongodb.org/下载安装程序，mongodb-linux-i686-2.4.1.tgz把下载文件放在/home文件夹下解压文件tar -zxvf mongodb-linux-i686-2.4.1.tgz在/home文件夹下生成了以下文件夹mongodb-linux-i686-2.4.1复制到一个短一点的文件夹c

2013-05-08 14:55:00 1665

原创 hadoop mapreduce多表关联

假设有如下两个文件，一个是表是公司和地址的序号的对应，一个表是地址的序号和地址的名称的对应。表1：A:Beijing Red Star 1A:Shenzhen Thunder 3A:Guangzhou Honda 2A:Beijing Rising 1A:Guangzhou Development Bank 2A:Tencent 3A:Back of Beijing 1表2

2013-05-07 21:08:36 2153

原创 hadoop mapreduce求平均分

求平均分的关键在于，利用mapreduce过程中，一个key聚合在一起，输送到一个reduce的特性。假设三门课的成绩如下：china.txt张三 78李四 89王五 96赵六 67english.txt张三 80李四 82王五 84赵六 86math.txt张三 88李四 99王五 66赵六 72m

2013-05-07 20:53:14 1990

原创 hadoop mapreduce数据排序

有如下3个输入文件：file0232654321575665223file159562265092file226546由于reduce获得的key是按字典顺序排序的，利用默认的规则即可。// map将输入中的value化成IntWritable类型，作为输出的key public static class Map extends Map

2013-05-07 20:38:33 1401

原创 hadoop mapreduce数据去重

假设我们有下面两个文件，需要把重复的数据去除。file02012-3-1 a2012-3-2 b2012-3-3 c2012-3-4 d2012-3-5 a2012-3-6 b2012-3-7 c2012-3-3 cfile12012-3-1 b2012-3-2 a2012-3-3 b2012-3-4 d2012-3-5 a2012-3-6 c

2013-05-07 19:58:00 1925

原创 hdfs基本操作，上传、下载、删除

hadoop程序中对hdfs的操作必不可少，粘贴一个工具类，分享给大家。import java.io.File;import java.io.FileInputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.ap

2013-05-07 15:31:50 1675

原创 Spring Batch规划好你的配置文件，用好Flow

随着项目的规模的不断扩大，Spring Batch的配置文件，也是一个头疼的问题，本人试了很多次，建议的配置方式如下：基础配置放在一个文件中applicationContext-batch.xml：<beans:beans xmlns="http://www.springframework.org/schema/batch" xmlns:beans="http://www.springf

2013-05-04 10:02:25 3724

原创 Spring Batch任务的异步执行

Spring Batch的默认执行的流程如下：如果想同时执行多个Job，那么就要用到Spring Batch的异步执行方式，这种方式如下：这在通过web页面执行任务的时候，也会非常有用，不会让页面阻塞。我们只需要在原来的程序上，加上如下配置即可：<bean:bean id="jobLauncher" class="org.springframework.batc

2013-05-04 09:21:36 3805

转载 eclipse编码设置

使用Eclipse编辑文件经常出现中文乱码或者文件中有中文不能保存的问题，Eclipse提供了灵活的设置文件编码格式的选项，我们可以通过设置编码格式解决乱码问题。在Eclipse可以从几个层面设置编码格式：Workspace、Project、Content Type、File 本文以Eclipse 3.3（英文）为例加以说明： 1. 设置Workspace的编码格式： Windows

2013-04-27 13:32:26 1955

原创 Spring Batch2的一些新的特性

1. Spring Batch2的新的特性Spring Batch2.0有六个主要的主题：Ø Java 5Ø 非顺序的步骤Ø 基于块的处理Ø 元数据扩展Ø 伸缩性Ø 可配置1.1. Java 5Spring Batch的1.x版本基于Java 1.4，这样限制了框架使用1.5的一些新的特性，比如：泛型和参数化类型。整个框架都做了调整来适应新的特性。

2013-04-26 00:01:03 2525

原创 Spring Batch代码块级别的重试

Spring Batch的入门实例请参考我的另一篇文章：http://blog.youkuaiyun.com/limiteewaltwo/article/details/8832771把log4j的输出级别定义为info级别。重试的代码示例：/** * */package co

2013-04-25 15:49:15 3291

原创 spring batch入门实例

spring batch入门实例为什么要进行批处理，哪些场合适合进行批处理？企业领域的许多应用需要在严格的任务环境下，进行大量的商业计算。这些商业计算包括在大数据集中进行自动而又复杂的计算，而且这些计算不需要人工的干预。这些任务中经典的就是基于时间驱动的事件的复杂商业规则的周期性的应用，在大数据集上的重复计算，或者从内部、外部系统接收到的信息的集成，这些信息需要格式化、校验、像一个事务一样

2013-04-23 09:18:11 14303 1

原创 JSF简单的ajax事件

ajaxTest.xhtml<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml" xmlns:ui="http

2013-04-16 09:16:45 1164

原创 JSF转换器(converter)，数字(number)

数字是一个用来表示事物的普遍概念，像年龄，薪水，百分比，金钱等等。我们知道数字可以是整数，浮点数，双精度实数，在不同的场合，我们需要不同的数字，还有不同的数字标记。下面我们来看一个JSF自带的标准的数字转换器的例子。standardConverterNumbers.xhtml<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transiti

2013-04-16 00:00:43 1955

原创 JSF自定义组件

知道怎么自定义JSF组件，有利于我们理解一些第三方的界面框架，如：prime faces。为了简单起见，我们把项目分成两个工程，一个是WEB工程，引用我们自写义的组件，一个是普通的的java工程，打成jar包之后，在web工程里进行引用。两个工程都是基于maven的。先看java工程。JAVA工程pom.xml 4.0.0 com.zolcorp.jsfc

2013-04-15 15:46:47 1031

原创 JSF页面组件化

页面组件化能带来很多优点，当多个页面引用同一个页面，这样，我们就只需要维护一个页面的代码，大大减轻开发人员的工作量。假设网站的根目录为jsfApp，建立jsfApp/resources/echo目录，resources为默认的需要组件化的页面的根目录，echo为组件的前缀。第一步新增jsfApp/resources/echo/echoInputText.xhtml文件，内容如下：

2013-04-15 15:17:59 1157

转载 JSF简介

http://zh.wikipedia.org/wiki/JavaServer_FacesJavaServer Faces维基百科，自由的百科全书跳转至：导航、搜索JavaServer Faces (JSF) 是一种用于构建Java Web 应用程序的标准框架（是Java Community Process 规定的JSR-12

2013-04-15 14:45:53 718

转载 JSF 应用程序的生命周期

Author：Richard Hightower (rhightower@arc-mind.com), CTO, ArcMindOriginal link：https://www6.software.ibm.com/developerworks/cn/education/java/j-jsf2/index.html与许多人认为的相反，即使不了解 JSF 技术的细节，也可以编写 JS

2013-04-14 11:00:01 938

原创 JSF，依赖于maven的环境搭建

依赖于maven，所以先配置pom.xml文件pom.xml的配置请参考：http://blog.youkuaiyun.com/limiteewaltwo/article/details/8796332web.xml配置如下：<web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="

2013-04-13 11:10:54 2064

原创 JSF入门例子，显示信息

index.xhtml<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml" xmlns:ui="http://ja

2013-04-13 11:01:30 1424

原创 Java Server Faces的maven依赖

4.0.0 com.vs.myjsf myjsf 0.0.1-SNAPSHOT war myjsf myjsf commons-fileupload commons-fileupload 1.2 commons-beanutils commons-beanutils 1.8.0 commons-i

2013-04-13 10:55:07 1798

原创 java操作mongodb的增、删、改、查操作。

建议用一个数据库连接对象操作数据库，如果需要多个，可以初始化多个实例。使用单例模式保持一个数据库连接：public class MongoDb { private static MongoDb instance; private DB db; private MongoDb() { //MongoClient mongoClient = new MongoClien

2013-04-10 13:33:30 1363

原创 maven打包方式

shade方式： org.apache.maven.plugins maven-shade-plugin 1.2.1 package shade <transformer implementation="org.a

2013-04-07 11:19:48 973

原创 java中使用rmi进行远程方法调用

java中进行远程方法调用，能支持分布式计算。并且可以实现在server的修改，能反应到各个client。假如server的ip是：192.168.11.2，server端的代码如下：/** * */package com.vs.rmi;import java.rmi.Remote;import java.rmi.RemoteException;public inte

2013-04-07 10:33:59 1075

转载 maven group artifact常用的仓库搜索地址

原文地址：http://juvenshun.iteye.com/blog/269094使用Maven进行开发的时候，比较常见的一个问题就是如何寻找我要的依赖，比如说，我想要使用activeMQ，可是我不知道groupId，artifactId，和合适的version。怎么办呢？本文介绍几个提供maven仓库搜索服务的站点。 1. http://repos

2013-03-24 11:07:28 1286