
java
azhao_dn
关注hadoop 数据挖掘
展开
-
使用java开发mapred时遇上的奇怪问题
1)错误代码:输入文件的key class 为LongWritable ,和Text 不匹配 错误原因:最初设定程序的输入文件为sequence file ,生成的测试数据 为 text file,而 text file 的key 为该行的偏移量,为LongWritable2)错误代码:Text 不能转化为 LongWritable 错误原因:在初始化mapred原创 2012-11-29 16:59:46 · 4794 阅读 · 1 评论 -
java 阻塞队列
import java.util.concurrent.ArrayBlockingQueue;import java.util.concurrent.BlockingQueue;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors; /**转载 2012-11-16 17:41:01 · 9382 阅读 · 2 评论 -
在windows搭建hive eclipse开发环境
1)安装jdk2)安装ant 2.1)下载ant最新版本 2.2)建ant解压到安装目录 2.3)修改环境变量,添加变量:ATN_HOME ,修改path,添加:%ANT_HOME%/bin3)在cmd中测试ant是否安装成功: 在cmd 中运行ant命令,如果安装成功,则输出:Buildfile: build.xml does not原创 2012-12-04 18:31:02 · 14565 阅读 · 1 评论 -
windows配置thrift开发环境
1)安装thrift:到thrift官网下载exe文件,然后将文件重命名为thrift.exe,拷贝到c:\windows目录下,然后就可以在dos环境下使用了 如:thrift -gen java D:\mywork\javaProject\thriftTest\test.thrift ,输出的java文件默认输出到当前目录下,也可以使用-o参数指定输出路径原创 2013-05-07 19:50:43 · 20719 阅读 · 5 评论 -
Java版的各种Thrift server实现的比较
(转载文章,点击查看原文http://www.codelast.com/)本文是我对这篇文章的翻译:Thrift Java Servers Compared,为了便于阅读,我将原文附于此处,翻译穿插在其中。此外,为了防止原链接在未来某一天失效后,文中的图片再也看不到的问题,我将原文中的图片也保存到了本站的服务器上,我不知道github或原作者是否允许这样做,但我翻译本文仅在于传播知识的转载 2013-05-08 09:32:41 · 18909 阅读 · 0 评论 -
Apache Thrift Quickstart Tutorial
(转载文章,点击查看原文)Thrift is a cross language RPC framework initially developed at Facebook, now open sourced as an Apache project. This post will describe how to write a thrift service and client in转载 2013-05-08 11:42:21 · 7573 阅读 · 0 评论 -
jave eclipse开发遇上的问题
1)override问题 在学习使用maven管理项目时,尝试将一个已有的thrift项目改为maven 项目,结果在添加完依赖库之后,thrift自动生成的代码一下子报了一百多个错误,而且还全部是override错误,最初还以为是maven添加的依赖库产生的问题(由于刚学习maven),结果在依赖库上面折腾了半天,也没能解决问题。后来试着在百度上搜索(thrift 错误:必须覆原创 2013-05-09 19:47:51 · 5615 阅读 · 0 评论 -
Log4J日志管理类使用详解
Log4J日志管理类使用详解,java开发必备,不多说了一、前言:log4j 是一个开放源码项目,是广泛使用的以Java编写的日志记录包。由于log4j出色的表现, 当时在log4j完成时,log4j开发组织曾建议sun在jdk1.4中用log4j取代jdk1.4 的日志工具类,但当时jdk1.4已接近完成,所以sun拒绝使用log4j,当在java开发中实际使用最多的还是log4j, 人转载 2013-06-18 11:10:48 · 6352 阅读 · 0 评论 -
实现字符型进度条(pyton、java)
大家在linux上使用wget时,wget命令会向linux命令行界面输出进度条,但平时也没有太留意这些细节。最近由于需要给产品人员提供后台分析程序,虽然不需要实现界面,但为了让程序更人性化一些,于是计划在dos界面上实现进度条的输出。 实现原理: 在向标准输出输出数据时,可以使用 \r 字符实现回退到该行的头部,如:sys.stdout.write(‘\原创 2013-12-12 15:15:19 · 10209 阅读 · 0 评论