
开源工具
文章平均质量分 51
chinalgf
这个作者很懒,什么都没留下…
展开
-
Flume 1.2.0 用户向导
概览 Apache的Flume是一个分布式的,质量可靠,可有效地收集,汇总和来自许多不同来源的大量日志数据到集中的数据存储系统。 Apache的Flume是在Apache软件基金会的顶级项目。目前有两个版本的代码行,0.9.x版本和1.x的版本本文件适用于1.x的代码行。请点击这里Flume 0.9.x版本的用户指南。系统环境要求 JDK1.6以上版本数据流转载 2012-11-29 14:34:44 · 1413 阅读 · 0 评论 -
lvs、haproxy、nginx 负载均衡的比较分析
对软件实现负载均衡的几个软件,小D详细看了一下,从性能和稳定上还是LVS最牛,基本达到了F5硬件设备的60%性能,其他几个10%都有点困难。 不过就因为LVS忒牛了,配置也最麻烦了,而且健康检测需要另外配置Ldirector,其他HAPROXY和NGINX自己就用,而且配置超级简单。 所以小D建议,如果网站访问量不是门户级别的用HAPROXY或者NGI转载 2013-07-12 11:17:00 · 508 阅读 · 0 评论 -
[开发]Resin 4.0.15配置优化的一个建议
转自http://www.cnblogs.com/zhengyun_ustc/archive/2011/02/25/resin01.html 早先说过线上Resin的配置文件中要增加线程池大小、各种timeout参数(resin 4.0.15的默认配置文件肯定没有这些参数,需要另行增加)。在resin 4.0.10里,有这么一个bug,thread-max的数量设置没有起作用:ht转载 2013-07-10 15:28:03 · 598 阅读 · 0 评论 -
resin4.0.23+nginx1.1集群
转 http://www.blogjava.net/zhaoguo543166/articles/372731.html一,web服务器小论 以前的公司使用的web服务器是tomcat(tomcat+apache作集群),现在的公司是一家互联网公司,采用的架构是resin+nginx作集群(resin比tomcat快?还有待以后章节比较讨论), 集群配置服务器说明: 1转载 2013-07-10 10:53:42 · 567 阅读 · 0 评论 -
rinetd
Linux下简单好用的工具rinetd,实现端口映射/转发/重定向官网地址http://www.boutell.com/rinetd软件下载wget http://www.boutell.com/rinetd/http/rinetd.tar.gz解压安装tar zxvf rinetd.tar.gzmakemake install编辑配置vi /etc/rinet原创 2013-07-09 15:40:21 · 650 阅读 · 1 评论 -
resin服务器安装
root用户:# wget http://www.caucho.com/download/resin-4.0.15.tar.gz#tar zvxf resin-4.0.15.tar.gz#cd resin-4.0.15#./configure --prefix=/usr/local/resin4.0.15 --with-java-home=/usr/java/jdk1.6.0原创 2013-07-09 15:37:34 · 512 阅读 · 0 评论 -
Oozie简介
在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起,这样才能够达到目的。[1]在Hadoop生态圈中,有一种相对比较新 的组件叫做Oozie[2],它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务。本文中,我们会向你介绍 Oozie以及使用它的一些方式。什么是Oozie?Oozie是一种Java Web应用程序,它运行在Ja转载 2013-05-07 13:56:53 · 499 阅读 · 0 评论 -
hbase应用查询工具HBaseManager
hbase应用查询工具HBaseManager,支持界面查询,但是不支持sql语句查询,下载地址:http://sourceforge.net/projects/hbasemanagergui/原创 2013-04-19 10:43:59 · 1717 阅读 · 1 评论 -
批量管理服务器工具:pssh
pssh是一个可以在多台服务器上执行命令的工具,同时支持拷贝文件,是同类工具中很出色的。使用是必须在各个服务器上配置好密钥认证访问。pssh 包安装 5 个实用程序:pssh 在多个主机上并行地运行命令。pscp 把文件并行地复制到多个主机上。prsync 通过 rsync 协议把文件高效地并行复制到多个主机上。pslurp 把文件并行地从多个远程主机复制到中心主机上。pn转载 2013-04-07 16:10:38 · 697 阅读 · 0 评论 -
高效删除hbase中多个表中记录
业务需要,经常需要将hbase中多个表中的记录数删掉,于是写了一个小工具。直接上代码啦:DeleteHbaseDataMain.javaimport java.io.IOException;import java.util.Iterator;import java.util.Map;import java.util.TreeMap;import java.util.concur原创 2013-01-06 11:17:03 · 1052 阅读 · 0 评论 -
Phoenix查询效率
Phoenix优势:1.动态的将一个查询转换为多个scan并行执行,使用startRowKey和stopRowKey进行拆分;2.使用hbase0.94版本及之后的coprocessor特性;3.Filter。测试集群:2个4核的虚拟机环境,执行查询条件,从999,9999行的数据中计数其中111,1111行,用时4s。原创 2013-02-21 09:32:57 · 1213 阅读 · 0 评论 -
Hama-基于BSP模型实现并行计算
1 Hama介绍 Apache Hama是一个纯BSP(Bulk Synchronous Parallel)计算框架,模仿了Google的Pregel。用来处理大规模的科学计算,特别是矩阵和图计算。BSP概念由Valiant(2010图灵奖获得者)在1990年提出,具体参看wikipedia。Google在2009年发表了论文,在分布式条件下实现了BSP模型。2 Hama安装原创 2013-01-04 17:41:06 · 1328 阅读 · 0 评论 -
Phoenix 使用sql查询hbase
1 Phoenix概览 Phoenixis a SQL layer over HBase, delivered as a client-embedded JDBC driver, poweringthe HBase use cases at Salesforce.com. Phoenix targets low-latency queries(milliseconds), as原创 2013-02-17 15:06:05 · 2862 阅读 · 4 评论 -
Storm实时处理安装部署
1 Storm概览 如果只用一句话来描述storm的话,可能会是这样:分布式实时计算系统。按照storm作者的说法,storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道,根据google mapreduce来实现的hadoop为我们提供了map, reduce原语,使我们的批处理程序变得非常地简单和优美。同样,storm也为实时计算提供了一些简单优美的原语原创 2013-01-06 10:52:35 · 1305 阅读 · 0 评论 -
程序员技术练级攻略
月光博客6月12日发表了《写给新手程序员的一封信》,翻译自《An open letter to those who want to start programming》,我的朋友(他在本站的id是Mailper)告诉我,他希望在酷壳上看到一篇更具操作性的文章。因为他也是喜欢编程和技术的家伙,于是,我让他把他的一些学习Python和Web编程的一些点滴总结一下。于是他给我发来了一些他的心得和经历,我转载 2013-06-28 14:17:54 · 503 阅读 · 0 评论