chlaws的专栏

<br />转自：http://huqilong.blog.51cto.com/53638/162321对于站长而言，最关心的当属网站的访问情况了，可能大家平常用得多的都是站点统计，例如51.la，cnzz，Google Analytics等等，却忽略了Apache的access日志！Apache的日志能够详细记录网站的每一个请求，供管理员参考，特别是在网站出现问题的时候，Apache日志文件能提供很多有用的信息，通过分析日志文件，找出网站问题所在。然而Apache默认的日志格式可能并不能满足每一个人的胃口

MapReduce源码分析之MapTask详解的后半段文章。在分析过程中我们知道了MapTask是如何使用循环缓存区管理数据，知道了数据在缓存不下是如何做spill处理的，spill输出的数据格式，combiner如何处理，如何将多一个文件merge为一个等等。也希望通过阅读这部分源码能学习到部分设计思路，能在未来的设计中提供多一种思路。

前言MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。什么是InputSplit       InputSplit是指分片，在MapReduce当中作业中，作为map task最小输入单位。分片是基于文件基础上出来的而来的概念，通俗的理解一个文件可以切分为多少个片段，每个片段包括了等信息。在MapTask拿到这些分片后，会知道从哪开始读取数据。Job

前言    MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。    本篇，将不会涉及代码部分的分析，只是简单分析map的整体架构，并介绍map与reduce的运行过程，主要是为后续的分析做一个铺垫。至于MapTask/ReduceTask的原理分析，JobTracker部分，以及TaskTracker如何启动一个Task这些都将在后续章节给出。MR编程模型

正在做的搜索改版项目中，使用clucene做全文检索，通过apache接受用户搜索请求，解析后交给clucene去检索，取得结果后，反馈给用户。    在前两天，发现，启动apache时，进行对clucene的初始化都是失败的，用更简单的测试代码去试了下，还是不成功。重建索引到一个新的目录之后，再去尝试，就可以。如果，mv 新的索引目录到为原来失败的索引目录再去尝试，这种情况还是不行的

前言：        之前搜了一下，貌似没有关于libeio的读写性能测试的数据，因此直接写了个测试程序去测试下。写的没去试，接口都有，有需要可以自己去填下。关于libeio：        这个是库Marc Lehmann写的，关于这个大牛，有兴趣的可以去搜搜。关于测试：        测试环境我分别用ABC表示，采用随机读取文件中的某个位置开始的一定长度

前言    本篇将以thrift-0.9.0为背景讲述thrift的基础，使用案例，启发。概述  thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa,JavaScript, Node.js, Sma

冲突情景    有两个模块分别是mod_city和mod_pfadurl,两者编译成so，如果在http.conf中使用loadmodule 都单独挂到apache中，那么不论是挂哪个到apache中都是可以正常运行，但是如果两者一起挂进apache中则就出现进程fork之后就down掉。apache 动态加载apache mod_so中 dlopen时指定了RTLD_NO

前几天部署了个hive，感觉挺简单，稍微记录下。环境：hadoop,hbase都已经装过了，只需要装个mysql就可以装hive了mysql和hive不是必须要装到hadoop master或datanode节点的只要在你部署的那台机器上有hadoop并且这个hadoop的配置能够正确的指向hadoop的master的地址mysql:可以下载个rpm包装上去就可以了，然后可以通

前言    MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。    该章节会分析在MapTask端的详细处理流程以及MapOutputCollector是如何处理map之后的collect输出的数据。    map端的主要处理流程图1 MapTask处理流程    图1所示为MapTask的主要代码执行流程，在MapTask启动后会进入入口run函数，根据是否使用