- 博客(143)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Group by cube and rollup in Hive 0.10
从hive 0.10版本开始，Hive支持group by rollup and cube。https://issues.apache.org/jira/browse/HIVE-3433 1. rollup和cube区别:(来自oracle)Oracle的GROUP BY语句除了最基本的语法外，还支持ROLLUP和CUBE语句。如果是Group by ROLLUP(A, B,
2013-01-08 22:39:04
1567
原创 HivePython 客户端查询示例
HivePython 客户端查询示例Hive对外接口使用的是thrift，所以默认就提供了多语言支持，python，perl等语言自然不在话下。本文就hive 0.9版本做一个查询的示例。Hive编译的时候就提供了Python的类库，所以从Hive社区下载tar包，解压缩，在lib的py目录下即可看到Python的类库。 首先需要安装Python。这里，我们选择Pyth
2013-01-06 22:50:23
1257
1
原创 Hive 0.8.1 with MapReduce 0.23.1 单机测试安装
Hive0.8.1 with MapReduce 0.23.1 单机测试安装自从MR V2出来之后，变化了很多，安装方式也和以前不一样了，折腾了好久，才装好。1、 Hadoop的安装1) 下载hadoop-1.0.0.tar.gz包，放到指定目录并解压缩。2) 修改配置，加入环境变量$hadoop_home/etc/hadoop/yarn-env.sh
2012-03-28 22:24:27
2614
原创 可拓展性Hash
可拓展性Hash前言在数据库的索引中，一般有两种结构的实现方式，B+树的实现方式和基于Hash的索引方式。伴随着存储设备的不断降价，Hash表这种以空间换时间的策略也越来越受欢迎。比如在Mysql中就有B+树和Hash索引两种的实现方式。Hash索引分为静态索引、可拓展性索引和线性索引三种方式。静态索引就是直接对数据进行Hash分区存放，当数据超过可存放大小的时候，就采用溢出页的方
2012-03-18 23:35:02
1105
原创 动态代理及代理模式
1. 什么是动态代理关于动态代理，先引用JDK上的一段话动态代理类（以下简称为代理类）是一个实现在创建类时在运行时指定的接口列表的类，该类具有下面描述的行为。 代理接口 是代理类实现的一个接口。代理实例 是代理类的一个实例。 每个代理实例都有一个关联的调用处理程序 对象，它可以实现接口InvocationHandler。通过其中一个代理接口的代理实例上的方法调用将被指
2011-12-18 22:49:52
542
原创 基于kryonet的RPC，使用kryo进行序列化
Kryo是一个序列化框架。Kryonet是一个基于kryo的RPC框架，它实现了一套高效简洁的API，它通过NIO实现了TCP和UDP通讯，目前还不支持Http。自己写了一个测试代码，运行了下，感觉还不错，记录下来。1、listenerpackage com.
2011-08-21 15:46:34
3227
原创 浅谈Java类加载器
1. 从ClassNotFoundException谈起编码的时候，我们常常可以看到ClassNotFoundException，比如在jdbc连接的时候，引入jar包不完全的时候等，我们一看就知道这个是由于找不到相关类库导致的，那么这个是从什么地方产生的？为什么会抛出这个
2011-08-14 15:46:01
2982
原创 Netty之源代码解析
Netty始终要写一篇来作为终结的，但是到了写的时候才发现无从下手，了解 的还是不够吧。无奈，从四处摘录了一大片东西，很多都是官网下来的，没有什么文字说明，权当参考了。首先来一张总体架构图，这个是从Neety官网上摘下来的，描述了Netty的核心架构和总体功能。 1. Boot
2011-07-20 21:14:23
10539
原创 使用Netty进行文件传输
在写出了Netty Hello World 和 netty对象传输之后，又觉得不够，看了官网的例子，所以有了现在的这个文件传输。顺便说下，netty官网的例子真的好，如果要学习netty，还是看官网例子的好。不过我英文不太好，刚开始走了绕了好大一圈，但是现在熟悉了之后，回过头来看
2011-07-19 22:45:52
21763
4
原创 使用Netty进行网络间对象传输
代码大部分和上一篇《Netty初步之Hello World》一样，所以这里也就不写什么说明了，仅仅粘贴代码就OK了。1、ClientThread.javapackage ObjectTest;import static org.jboss.netty.channel.Chan
2011-07-17 18:24:23
11031
原创 使用Netty进行网络间对象传输
代码大部分和上一篇《Netty初步之Hello World》一样，所以这里也就不写什么说明了，仅仅粘贴代码就OK了。1、ClientThread.javapackage ObjectTest;import static org.jboss.netty.channel.Chan
2011-07-17 18:21:14
198
原创 Netty初步之hello world
Java的网络操作一直比较复杂，虽然说在加入NIO之后简单了些，但还不是我这些菜鸟玩得起的，由于存在大量低层操作和协议处理，所以在使用上面还是很难。迄今为止，还没有用NIO写出稳定可靠的网络操作，也许这和具体的应用需求较少也有关系吧。大概也有人和我对NIO有同样的想法，他们最NI
2011-07-17 12:32:50
7780
转载 JDK7新特性 监听文件系统的更改
我们用IDE（例如Eclipse）编程，外部更改了代码文件，IDE马上提升“文件有更改”。Jdk7的NIO2.0也提供了这个功能，用于监听文件系统的更改。它采用类似观察者的模式，注册相关的文件更改事件（新建，删除……），当事件发生的，通知相关的监听者。 java.nio.fil
2011-07-13 23:03:39
1835
原创 JDK 7.0 新特性介绍
1. 菱形语法（泛型实例化类型自动推断）List list = new ArrayList这个真的很像菱形 2. 在目前版本中，不可具体化的泛型（任意类型）可变参数，在编译时，会在调用处产生警告，JDK7里将这个警告挪到了方法定义处变化前： static List asL
2011-07-13 22:43:28
1752
转载 Zookeeper全解析——Paxos作为灵魂
转自：http://www.spnguru.com/?p=232原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Server所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。先说Pa
2011-06-26 00:16:00
2774
原创 zookeeper应用开发
由于zookeeper的client只有zookeeper一个对象，使用也比较简单，所以就不许要文字说明了，在代码中注释下就ok 了。1、测试用的main方法 package ClientExample;public class TestMain { public static void main(String[] args) { /* * 测试流程
2011-06-11 20:14:00
5047
原创 ZooKeeper部署
ZooKeeper部署 真的很悲催，VMware在wndows下面使用的时候经常没有响应，就卡在那里了，一怒之下，直接在硬盘安装Ubuntu了，搞了个双系统，用了一天的Ubuntu，感觉还不错，挺好的，QQ、电影、听歌之类的都可以搞定，除了没有QQ游戏之外，其他基本完美了。好了，就口水到这了，下面开始讲部署的过程。Zookeeper本身就是为了分布式部署而存在的，所以在这里就不介绍单机的部署了，部
2011-06-11 19:59:00
2537
转载 ZooKeeper介绍
What is ZooKeeper？ZooKeeper是什么？ZooKeeper is a distributed, open-source coordination service fordistributed applications.ZooKeeper提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务。ZooKeeper的设计非常易于编程，它使用的是类似于文件系统
2011-06-11 19:22:00
2299
转载 Json Util
import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.ArrayList;import java.util.Date;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;import net.sf.json.JSONArray;
2011-06-01 22:16:00
646
原创 http serverlete test
import java.io.IOException;import java.io.PrintWriter;import javax.servlet.ServletException;import javax.servlet.annotation.WebServlet;import javax.servlet.http.HttpServlet;import javax.servlet.http.HttpServletRequest;import javax.servlet.htt
2011-05-30 22:56:00
513
原创 dom4j 创建xml
<br />import java.io.File;import java.io.FileWriter;import org.dom4j.Document;import org.dom4j.DocumentHelper;import org.dom4j.Element;import org.dom4j.io.XMLWriter;public class xmlCreater { public static void main(String[] args) { new xml
2011-03-04 11:17:00
298
原创 dom4j 编辑xml
<br />import java.io.File;import java.io.FileWriter;import java.util.Iterator;import java.util.List;import org.dom4j.Attribute;import org.dom4j.Document;import org.dom4j.Element;import org.dom4j.io.SAXReader;import org.dom4j.io.XMLWriter;
2011-03-04 11:17:00
499
原创 JDOM xml读取和修改
<br />import java.io.FileOutputStream;import java.io.IOException;import java.util.Iterator;import java.util.List;import org.jdom.Document;import org.jdom.Element;import org.jdom.JDOMException;import org.jdom.input.SAXBuilder;import org.jdom
2011-03-04 11:16:00
582
原创 JDOM创建xml
<br />import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import org.jdom.Document;import org.jdom.Element;import org.jdom.output.XMLOutputter;public class xmlCreater { public static void main(Str
2011-03-04 11:15:00
545
转载 iBATIS sqlMapConfig配置详解
<br /><?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE sqlMapConfig PUBLIC "-//ibatis.apache.org//DTD SQL Map Config 2.0//EN" "http://ibatis.apache.org/dtd/sql-map-config-2.dtd"><sqlMapConfig> <!-- <properties resource="prop
2011-01-27 12:57:00
857
原创 java配置文件property文件内容的修改
<br />public void abc(String value) { String path = this.getClass().getProtectionDomain().getCodeSource() .getLocation().getPath(); String rootPath = path.substring(0, path.lastIndexOf("/classes")); String propertyFilePath = rootPath + "
2010-12-16 12:01:00
3086
原创 java文件的写入和追加
/** * 日志文件的写入 * @param contects */ private void saveLogsToFile(String contects){ String path = this.getClass().getProtectionDomain().getCodeSource().getLocation().getPath(); String rootPath = path.substring(0, path.lastIndexOf("/WEB-INF"))
2010-12-16 12:00:00
2009
转载 ibaits的JPetStore中持久层的研究、事务的处理
<br />本文参考了<br />iBatis DAO入门与进阶（http://www.matrix.org.cn/resource/article/44/44058_iBatis+DAO.html）<br /> iBatis DAO事务探索（http://www.blogjava.net/RongHao/archive/2006/01/20/28817.html）<br /><br />今天继续研究了JPetStore的持久层，其中由于看了一篇文章的误导，导致我对其中的事务处理深表怀疑。通过阅读源代码与看
2010-12-08 11:47:00
568
原创 tomcat访问优化，提高并发
<br />系统发布使用的是tomcat6，发布的时候为了方便，把地图服务和web应用服务发布在一起了，<br />所以呢，在访问人数稍微多一些的情况下，就出现了页面访问速度慢，页面打不开的情况，<br />修改了tomcat的配置，然后发现情况好了很多，说明修改有效，记录下来。<br />server.xml<br /> <br /> <Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="2000" minSpa
2010-12-06 10:11:00
2066
原创 dwr下A request has been denied as a potential CSRF attack.问题
<br />最近换到了tomcat7，运行代码的时候发现问题了，<br />控制台所有的dwr请求都变成了：“A request has been denied as a potential CSRF attack”<br />所有的都不能访问，提示跨域访问问题，然后换回tomcat6，发现每一点问题，<br />网上查了半天，发现时dwr的问题<br />解决办法如下：<br />修改web.xml的dwr配置，：<br /><listener> <listener-class> org.
2010-12-04 23:58:00
6499
原创 Java线程终止，避免使用stop
<br />package Threadtest;/** * 停止线程的方法 * stop的方法已经不推荐使用了，为了适用以后的需要，还是得来好好的琢磨下thread中的interrupt方法 * @author Don Quixote * 2010-12-2 下午02:52:56 * Hello,Don Quixote! */public class ThreadTest extends Thread { public static void main(String[]
2010-12-02 15:24:00
1381
原创 Java线程中start和run方法的区别
<br />public class TestThread1 { public static void main(String[] args) { Runner1 r = new Runner1();// r.run();//这是方法调用，而不是开启一个线程 Thread t = new Thread(r);// 调用了Thread(Runnable target)方法。且父类对象变量指向子类对象。 t.start(); for (int i = 0; i < 10000
2010-11-30 17:11:00
1714
原创 java的公共方法——对象自动匹配
<br />package com.copote.shop.util;import java.util.ArrayList;import java.util.HashMap;import java.util.HashSet;import java.util.LinkedList;import java.util.List;import java.util.Map;import java.util.Queue;import java.util.Set;/** * 一个公
2010-11-30 10:59:00
1208
原创 个人积累的js的一些公共方法
<br />/** * js中的一些公共的方法 * @Don Quixote **//** * js 数据的hash表结构 */ window.onerror=function(){ return true; }window.alert=function(){ return false;}function formatDateMonth(date){ var year = date.substr(0,4); var month = dat
2010-11-30 10:58:00
931
原创 通过反射进行map和bean之间的互相转换
<br />/** * 反射方法 * 将map转化为bean和将bean转化为map * @author Don Quixote * 2010-11-29 下午05:18:58 * Hello,Don Quixote! */public class PublicReflection { //忽略属性的大小写问题 //字段类型也只支持最基本的String，Integer，Long，Float，Double public static <T> T ChangeMapToS
2010-11-29 17:19:00
2760
原创 Oracle中根据Date型转换成Java对应的long型毫秒数
select sum((To_date(t.c_tjsj, 'yyyy-mm-dd hh24-mi') - 8/24 - To_date('1970-01-01', 'yyyy-mm-dd')) * 24 * 60*(t.n_cqrs-t.n_jlrs)) as timeSum, count(*) as msgSum,t.n_sbdh,sum(t.n_jlrs) as inSum,sum(t.n_cqrs) as outSum from t_rlsjb t wher
2010-11-27 21:44:00
2622
转载 WIN7安装ORACLE10所遇到问题的解决
<br />ERROR 1 <br />正在检查操作系统要求...<br />要求的结果: 5.0,5.1,5.2,6.0 之一<br />实际结果: 6.1<br />检查完成。此次检查的总体结果为: 失败 <<<<<br />问题: Oracle Database 11g 未在当前操作系统中经过认证。<br />建议案: 确保在正确的平台上安装软件。<br />======================================================== <br />正在检查 Serv
2010-11-25 22:44:00
970
转载 关于Java23种设计模式的有趣见解
<br /><br />创建型模式<br />1、FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory<br />工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时，工厂类也要做相应的修改。如：如何创建及如何向客户端提供。<br />2、BUILDER—MM最爱听的就是“我
2010-10-14 22:35:00
223
转载 DWR2.0的调用前拦截
<br /><br />每次调用dwr的方法前检查用户是否已经登录，否则就不能执行并且退到首页。<br /><br />当然了，做拦截器有很多方式，但经过研究发现DWR自带很多插件，其中就有一个调用处理的插件。具体做法如下。<br /><br />在web.xml里的DWR配置中加入一个参数：<init-param><br /> <param-name><br /> org.directwebremoting.extend.Remoter<br />
2010-06-24 11:32:00
343
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人