chlaws的专栏

只叙述secondary namenode部署出错所产生的错误及解决方法环境：suse 10.1namenode 单独部署在cloud1secondary namenode 单独部署在 cloud3集群部署完成后使用Jps查看进程,发现该有的进程都有,hdfs也能上传下载文件 查看secondary name 上的log,发现在doCheckpoint都失败20

前言    一看标题就俗套,一时也想不到各种华丽的名字了，直接copy去年的标题，只是将2011改成了2012。还好今年也没有末日，活着就是幸福。在12年最后一天的工作日，刚好可以花点时间回顾下今年的工作情况以及稍微规划下明年吧，希望慢慢的按着自己的规划往前走。    如果有看过去年的朋友，可能会发现与去年的巧合就是都是在最后一天来写。。尴尬。。    本文大致会分两部分，一个是今

前言：这篇转么记录发布了哪些项目,地址都在github.com/iamwljiang。如果其中某个项目没有注释之类的,那么这个项目可能有些不好的影响,我会忽略过去1.guahao一个挂号的东西,这个要低调2.logger这个是一个跨平台的logger记录库,可以编译成库也可以直接将代码嵌入到你的项目中目前支持多线程,日志切割,支持linux权限,所有者更改，linu

前言    群里有朋友想切换nginx 0.7的版本到1.2+的版本，在0.7的版本中他们改了源码，使得访问日志输出的时间格式从[08/Mar/2013:09:30:58 +0800]变成了2013-03-08 12:21:03。说是在修改1.2+版本的时候格式就变乱了，格式一直不对，刚好有人@我，我说就帮忙看下。须知    nginx log日志格式的话，无非是在src/core/n

走过那些年        那时还是懵懂的年纪，带着学生气带着对工作的渴望与激情，对于去做linux c/c++的开发充满了期待，在10年11月入职。 而现在转眼两年多过去了，即将离开工作两年半的地方，也即将去面对新的工作，我觉得有必要好好记录下，等待多年后再回头看现在的抉择是否正确。    回忆两年半乐趣与辛酸    当初10月份校招中拿到个做linux c/c++的offer欣喜异常

参看http://www.wangafu.net/~nickm/libevent-book/  和libevent-2.0.21源码其中有部分我认为比较简单的，就没有记录在这里了。关于源码，可以主要关注，evutil.c evbuffer.c event.c bufferevent.c bufferevent_sock.c 这几个文件。-----------------------

nimbus启动脚本启动逻辑         通过bin/stormnimbus会启动nimbus进程，类似hadoop的jobtracker。bin/storm是一个python写的脚本，支持jar,kill,nimbus,supervisor,ui,drpc等等命令。python的入口函数如下def main():   if len(sys.argv)       

topology启动         一个topology的启动包括了三个步骤         1)创建TopologyBuilder，设置输入源，输出源         2)获取config         3)提交topology（这里不考虑LocalCluster本地模式）          以storm.starter的ExclamationTopology为例：

Edit: Leiningen 1.3.1 got better Windows support and you don't need to follow these instructions anymore. Get the Windows distribution from here:http://github.com/technomancy/leiningen/downloads, un

正在做的搜索改版项目中，使用clucene做全文检索，通过apache接受用户搜索请求，解析后交给clucene去检索，取得结果后，反馈给用户。    在前两天，发现，启动apache时，进行对clucene的初始化都是失败的，用更简单的测试代码去试了下，还是不成功。重建索引到一个新的目录之后，再去尝试，就可以。如果，mv 新的索引目录到为原来失败的索引目录再去尝试，这种情况还是不行的

请勿抄袭，转载请注明出处 http://blog.youkuaiyun.com/chlaws前言2010-11-01入职到现在有一年多了，这一年来，也做了比较多的事。也学到很多东西，基本来说这期间一直在忙碌着，没有停过。有些时候也会挺有压力的。11月底的时候就开始计划准备写个总结，既能回顾下这一年自己在哪些地方成长了，也能加深下自己的所做过项目的印象。之后的内容会按所做的项目进行大致的描述，小项目之类

这篇是说c调用lua的。会通过代码来展示如何在配置文件里面配置记录,并让c调用去执行。有一个配置文件名称是“config”用来记录配置的另外有个.c程序来载入config,并调用config中函数来生成新的记录。编译：gcc -g -Wall configbylua.c -o cblua -ldl -llua -lm下面看代码：configmax = 3default

1.关于介绍zeromq的就不说了，可以自己去看官方guide很详细2.主要说下在使用过程中需要注意的地方1）使用如果使用c++的接口的时候，在你自己的类中或者apache模块中需要将zmq::context_t 对象定义在zmq::socket_t对象的前面，这样可以保证销毁的顺序2）使用sub-pub时候，如果sub没有调用setsockopt设置过滤项(设置NULL则

转自：http://blog.youkuaiyun.com/playstudy/article/details/6661868很久没搞win上东西了，最近将代码导入工程第一次ok,隔了几天重新编译就出现下面的问题了，下面的说的也可以解决。不过我自己是将工程清掉重新导入一次就可以了需要注意的是：通过现有代码导入到工程里面，预定义了_WINDOWS,链接器->系统面板的子系统也是默认定义为 “窗口 (

这两天下了下,准备做个年终总结,将这一年所做的一些项目之类的，都细细的归归类，描述下。这样也可以给别人提供点帮助，也可以让自己回顾下这一年中的进展，顺便让自己想想以后的方向之类的。去年11月开始看Nginx 看完后加入做资源服务器，性能测试这块做了有段时间。然后做了广告系统，负责客户端这块的编写，当初做这，被骂的好惨。后面就是做采编系统，大致我策划的整个流程，服务端给别人写了，我写

原因：客户端程序通过zookeeper访问hbase的连接数超过设置的默认链接数(默认数是30)，连接数不够用会导致后续的连接连接不上去。解决办法：设置hbase-site.xml配置文件，添加如下属性    hbase.zookeeper.property.maxClientCnxns    300    Property from ZooKeeper's confi

性能测试结果 hbase/bin/hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1org.apache.hadoop.hbase.PerformanceEvaluation$SequentialWriteTest in 66382ms at offset 0 for 1048576 rows

环境：suse  8G内存，8核，12T磁盘          hbase master 占一台，其他7台作为hbase的region server注意：此处不讨论hadoop情景：          我们有7亿的数据，需要做查询操作，需要从1.7亿的表中查找一个字段，并写入到7亿数据的表中。          这里为了描述方便，将7亿数据的表称为：A表，1.7亿数据的

背景描述        简单描述下，在最近的这个项目中的一个分项目中，有数据存储在redis中，数据要推荐给用户，前台是通过nginx来接收http请求，解析key，通过一致性hash算法去实现分布式部署redis而非只是主从模式，通过这去访问redis组中的某一组，这样去读取正确的value。        使用环境：        suse        redis.2.4.7

在项目中写了个http模块来处理http请求，记得早前的资源服务器那个项目中使用的是nginx 的 0.7.67版本使用这个版本，在postconfiguration 阶段设置handler的时候使用，指定的是NGX_HTTP_CONTENT_PARSE是在这个间断去处理请求，这样，一切是正常的。       现在做的的http模块，在执行到自己写的handler中，如果设置超时函数，

1，在申请buffer的时候需要注意这些buffer是用在哪里的，是需要从哪里去申请。    在handler函数中，比如，一般申请buffer都是从ngx_http_request_t *r的r->pool中去申请。但是如果需要改变r->connection->addr_text.data的buffer,去申请更大的一块内存，那么，如果从r->pool申请，是会有问题，这个需要注意，在项目中

其实之前就知道，但是没有记录，并从这些角度去思虑先记下来，在之后的过程慢慢要将这些观念用上，并要习惯下面这些是关于开发的：从行业角度：关注自身或者相关的技术的发展，学习新的事物，并考虑，自己需不需要用从自身角度：要经常总结各个技术逻辑层次，发现问题或者记录新的理解，提高自身能力从技术角度：一门新的技术，考虑优缺点，比如用一个开源库，那么，为什么要用这个从设计角度

前几天部署了个hive，感觉挺简单，稍微记录下。环境：hadoop,hbase都已经装过了，只需要装个mysql就可以装hive了mysql和hive不是必须要装到hadoop master或datanode节点的只要在你部署的那台机器上有hadoop并且这个hadoop的配置能够正确的指向hadoop的master的地址mysql:可以下载个rpm包装上去就可以了，然后可以通

首先，我说说碰到这个问题的原因造成在tasktracker的log中出现错误：2012-01-04 13:49:27,734 INFO org.apache.hadoop.mapred.TaskTracker: JVM with ID: jvm_201112211104_0002_m_1605380604 given task: attempt_201112211104_0002_m_00