- 博客(107)
- 收藏
- 关注
RSS订阅原创 Flume概念总结一
Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模...
2012-04-17 22:54:31
181
原创 Flume 部署注意一
Flume 安装 1. jdk1.6以上。可修改环境变量.bash_profile2.需要/tmp目录的读取写入权限。master pid,,node pid生成在此目录3.安装zookeeper. 注意在datadir目录生成myid数字标识。4.一般用scp同步数据，需要ssh生成无密码授权文件。5.winscp上传数据到服务器6.修改flume-dameon...
2012-04-17 22:53:00
155
原创 Flume源代码解读五
[ xcly原创于iteye,见http://xcly.iteye.com ] 本节介绍Flume存储配置项的工作方式，Flume支持zookeeper和memory两种方式。 FlumeMaster启动时，创建ConfigStore。 如果为zookeeper方式，还初始化ZooKeeperService。对ConfigStore的使用通过Configur...
2012-03-15 17:01:08
159
原创 Flume源代码解读四
[ xcly原创于iteye,见http://xcly.iteye.com ] 今天介绍Flume里面用到的BackoffAlgo算法，接口由BackoffPolicy定义，让我们看看下面的几个关键的方法reset：Reset backoff state. Call this after successful attempts.每一次成功调用之后reset状态。bac...
2012-03-15 13:01:06
133
原创 Flume源代码解读三
[ xcly原创于iteye,见http://xcly.iteye.com ] 本节重点介绍 agentSink中ENDTOEND的实现。 每一个节点通过source获得事件Event,然后由sink处理，sink同source一样，flume提供了多种实现，sink的生成同Flume源代码解读一中介绍的实现方式类似，由SinkFactory工厂方法实现，跟SourceF...
2012-03-10 20:40:43
145
原创 Flume源代码解读二
[ xcly原创于iteye,见http://xcly.iteye.com ] 接上次介绍tailDir的实现后，这次介绍节点的启动。节点的启动实现在高版本中会有所区别，这次针对flume0.9.3. 启动Flume Master或者Node一般都用FlumeWatchdog启动，生成pid文件，判断配置读取，利用Watchdog， 利用Runtime的exec来启动...
2012-03-10 18:28:05
138
原创 Flume源代码解读一
[ xcly原创于iteye,见http://xcly.iteye.com ] 年初团队接了搭建公司Hadoop平台的研发计划，负责公司产品日志的收集，分析两个工作。 日志收集准备搭建flume(0.9.3)这个分布式日志收集集群.背景介绍完毕，马上开始。 Flume分为agent,collector,master三个概念节点，agent负责收集日志，发到c...
2012-03-10 12:28:20
115
原创 软件收集
软件收集 办公软件： wps 浏览器： Google Chrome 浏览器firefox ie 8 Safari TT小白浏览器 开发工具： MyEclipse 7.5NetBeans IDE 7.0.1 linux操作软件： XshellSecureFX 6.0 数据库管理软件： mysql:...
2011-08-18 10:24:53
138
原创 perl环境安装
1 window下环境安装 装 ActivePerl，dos窗口下cd转到 安装好的perl根目录下，一般是c:\perl, dos进入到bin目录下， ppm可以看到所有已经安装好的包 用 ppm install DBD::mysql 可以安装好数据库驱动包 2 linux下一般自带perl， 需要安装 DBI DBD::mysql rpm ...
2011-06-23 12:19:15
159
原创 面向对象设计原理
第一章 面向对象综叙面向对象=对象+类+继承+通过消息的通信 面向对象的四条基本原理：抽象，封装，模块化，层次 第二章 设计模式的综述设计模式的基本要素：模式名称，问题，解决方案，效果设计模式的组织：创建型：Abstract Factory, Factory Method, Builder, Prototype, Singleton结构型：Ada...
2011-04-01 09:37:17
170
原创 Java工程师努力方向
参考方向 精通Java，J2ee，Javascript相关技术和体系架构精通Struts, Spring, Hibernate或类似Java体系的应用，深入理解原理熟悉Unix/Linux操作系统原理，常用工具，具备Unix/Linux下开发经验熟悉Mysql/Oracle等数据库管理、开发，SQL调优;熟悉或了解工作流、规则引擎、搜索引擎、缓存引擎、任务调度、身份认证等了解集群、负载均衡...
2011-03-30 13:56:27
172
原创 JMX
http://download.oracle.com/javase/6/docs/technotes/guides/jmx/index.html
2011-02-28 19:03:17
103
原创 Grizzly
最近使用grizzly广泛应用于java http服务器,用来响应升级,统计,业务逻辑处理等应用. grizzly2.0下载地址: http://download.java.net/maven/glassfish/org/glassfish/grizzly/文档地址: http://grizzly.java.net/nonav/docs/docbkx2.0/html/gri...
2011-02-26 12:54:06
132
原创 struts2
struts2 http://www.blogjava.net/amigoxie/archive/2007/08/02/133999.html http://struts.apache.org/index.html http://struts2.group.iteye.com/ http://struts.apache.org/2.x/docs/guides.html ...
2011-01-26 12:37:26
100
原创 SLF4J 教程（自由在各种log中切换)
引用from: http://www.blogjava.net/dreamstone/archive/2007/07/09/128993.html 一、介绍：简单日记门面(simple logging Facade for java)SLF4J是为各种loging APIs提供一个简单统一的接口，从而使得最终用户能够在部署的时候配置自己希望的loging APIs实现。 Logging A...
2011-01-23 18:31:48
119
原创 Json 技术
一 org.json 见包TestJson.jar http://www.json.org/java/ 二json-lib net.sf.json http://json-lib.sourceforge.net/ 二 gsonflexjson
2011-01-20 14:29:44
110
原创 Java HTTP client
一 HTTP client public static void main(String[] args) throws IOException { String url = "http://movie.xunlei.com/kankan_shangsheng_for_union.html"; HttpURLConnection conn = (HttpURLConnect...
2011-01-20 11:13:27
119
原创 Java模板技术
一 Java模板技术-velocity 需要lib: velocity-1.6.3.jar, commons-lang-2.2.jar, commons-collections-3.2.jar 1. // 配置初始化参数 Properties props = new Properties(); ...
2011-01-19 19:30:55
190
原创 J2EE规范
认识J2EE规范 J2EE实际上是一组规范（新手对规范这个词可能云里雾里的，没有办法，JAVA概念太多了，大部分概念慢慢就会理解），没错，J2EE这个概念并不是某种技术，而是一堆规范（实现意义上可以说是一堆技术）组成的，在老手的嘴里它是一堆概念。J2EE规范有的是标准的，有的不是标准的。标准的含义就是被SUN公司JDK体现与兼容，成为业界遵循的准则。比如，Servlet，当它成为标准规范以后，...
2011-01-18 12:22:51
87
原创 这是从Think in Java摘的关于性能的说明
这是从Think in Java摘的关于性能的说明 运算 示例 标准时间 本地赋值 i=n; 1.0 实例赋值 this.i=n; 1.2 int增值 i++; 1.5 byte增值 b++; 2.0 short增值 s++; 2.0 float增值 f++; 2.0 double增值 d++; 2.0 空循环 while(true) n++; 2.0 三元表达式 (x<0)...
2011-01-18 11:56:58
86
原创 Java基础一 加载资源
一 加载资源,一般两种方式,class使用绝对路径,thread使用相对包路径 URL t = Thread.currentThread().getContextClassLoader().getResource("META-INF/log4j.properties"); InputStream in2 = Thread.currentThread().getContextClass...
2011-01-16 12:01:17
90
原创 软件工程工具汇总
一 需求管理工具 1.http://www.cloudtopo.com Topo研发管理系统 2.Rational RequisitePro 3.IBM Rational DOORS 4. Redmine 二
2011-01-15 12:16:09
243
原创 Java
1. Java Web方向: JSF DWR, Struts2, JQuery, Spring 2 Java分布式 Mina Grizzly 3 Java服务器 Tomcat 4 数据库 Mysql 5 apache.org开源社区sourceforge.net ...
2011-01-14 12:11:50
95
原创 linux java常用配置
一 /etc/profile java常用配置 示例1:twin0510 PATH=$PATH:/usr/local/mysql/bin:/usr/local/bin export JAVA_HOME=/usr/java/jdk1.6.0_03/ export JRE_HOME=/usr/java/jdk1.6.0_03/jre/ export CLASS...
2011-01-13 11:47:57
89
原创 jdk自带工具
jps 与unix上的ps类似，用来显示本地的java进程，可以查看本地运行着几个java程序，并显示他们的进程号。 jstat 一个极强的监视VM内存工具。可以用来监视VM内存内的各种堆和非堆的大小及其内存使用量。 jmap 打印出某个java进程（使用pid）内存内的，所有‘对象’的情况（如：产生那些对象，及其数量）。 jhat Java Head Analyse...
2011-01-06 23:01:07
84
原创 linux常用命令
常用命令目录： /bin /sbin /usr/bin 配置文件: /etc系统信息目录： /proc 终端区分： 普通文件黑色， 目录蓝色，可执行文件绿色 链接文件青色 1 查看linux是32位还是64位: getconf LONG_BIT; uname -a ; 2 查看cpu信息 cat /proc/cpuinfo; top 1...
2011-01-04 12:51:59
100
原创 I面试题
一. select * from a left join b on a.id = b.id2 select * from a inner join b on 1=1 select * from a inner join b on a.id = b.id2 内连接,左连接,右连接 要根据on后面的条件决定得到的记录条数,如果1=1,相当于自然连...
2010-12-31 17:00:19
81
原创 XML篇
(http://www.blogjava.net/liaojiyong/archive/2007/05/24/119684.html)1 JDK6的新特性之一:使用JAXB2来实现对象与XML之间的映射, 除了JAXB之外，我们还可以通过XMLBeans和Castor等来实现同样的功能. 2 JDK6的新特性之三:理解StAX StAX(JSR 173)是JDK6.0中除了DOM和SAX...
2010-12-31 11:24:45
94
原创 英语面试准备
一 It's my pleasure to have a chance here for the interview. Now I say something about myself. My name is CZ and I'm 27 years old. i was graduated from HUNAN University . My major is softwar...
2010-12-30 00:39:14
162
原创 java nio学习手记
java nio学习手记http://www.tech-q.cn/thread-1945-1-1.html 传统的并发型服务器设计是利用阻塞型网络I/O 以多线程的模式来实现的，然而由于系统常常在进行网络读写时处于阻塞状态，会大大影响系统的性能；自Java1. 4 开始引入了NIO(新I/O) API，通过使用非阻塞型I/O，实现流畅的网络读写操作，为开发高性能并发型服务器程序...
2010-12-23 19:47:22
87
原创 Json在线格式化工具
http://jsonformatter.curiousconcept.com/做hadoop监控，传出json格式的数据，呵呵，找到一个不错的在线工具
2010-12-23 19:02:15
111
原创 研面试题
一 java值传递彻底明白基本数据类型是传递值, Java语言中对象传递的是地址，而不是引用，这两个概念是有非常大的差别的，我相信熟悉c++的人都应该知道。 例如下面：假设对象Test有name的属性。 public void call(Test t) { Test t2 = new Test(); t2.setName("cba'); t.setName("abc"); t = t2 ; ...
2010-12-23 01:11:16
100
原创 java RPC adn JMS
http://blog.chinaunix.net/u3/106704/showart_2439182.html Java远程通讯可选技术及原理（一）关键字: java网络编程 在分布式服务框架中，一个最基础的问题就是远程服务是怎么通讯的，在Java领域中有很多可实现远程通讯的技术，例如：RMI、MINA、 ESB、Burlap、Hessian、SOAP、EJ...
2010-12-21 14:34:06
113
原创 前端开发大众手册(包括工具、网址、经验等)
http://www.web600.net/html/editor/XHTMLCSS/201008244016.html快捷导航：在线工具集 常用Firefox插件 IE下的调试工具 参考手册 批处理工具 IDE及其他工具 Bookmarklet 前端开发者社区及权威网站 推荐订阅的博客和网站 另外还搞了个Firefox插件...
2010-12-20 23:04:40
105
原创 Session、Cookie 完全理解(转载)
1、HTTP协议本身是“连接-请求-应答-关闭连接”模式的，是一种无状态协议（HTTP只是一个传输协议）；2、Cookie规范是为了给HTTP增加状态跟踪用的（如果要精确把握，建议仔细阅读一下相关的RFC），但不是唯一的手段；3、所谓Session，指的是客户端和服务端之间的一段交互过程的状态信息（数据）；这个状态如何界定，生命期有多长，这是应用本身的事情；4、由于B/S计算模型中计算是在服务器端...
2010-12-20 22:18:03
79
原创 测试工具及测试技术
录制工具: LoadRunner, Charles Web Debugging Proxy 测试技术网站: http://bbs.51testing.com/default.php, http://www.boobooke.com/index.html 一 白盒测试 二 性能...
2010-12-20 14:26:13
84
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人