孙飞的博客

# 最近在看Hadoop技术内幕之深入解析MapReduce架构设计与实现原理一书，可能会把我以为比较重要的知识点或模块通过博客记录下来，留给自己和大家。这本书也是刚刚开始看，加上以前自己对MapReduce的理解，如果有什么错的地方，请大家指出。今天就说一下MapReduce作业的生命周期，如下图（来自Hadoop技术内幕一书）：当用户 (Applicat

题外话：C#  调用 Java 的几种方法1.将Java端的接口通过WebService方式发布，C#可以方便的调用2.先使用C++ 通过 JNI 调用 Java，C# 调用C++的接口3.使用开源的库直接使用C#调用Java ，详细信息请点击4.使用IKVM实现C#调用Java，参考：http://www.ikvm.net/之所以说这些，是因为自己这边客户端要调用

#本文只是一个简单的实例，自己总结所用。如果需要详细的资料，请参考Gson API文档最近项目里涉及到不同语言之间接口的调用，最后选择Json作为数据格式。在Java，选择了Google的Gson。我也不知道为什么。先定义测试类：简单说明：一个Peope类，一个Friend类。Friend继承Peopleclass People{ public People(){}

#最近在写操作HBase的接口，顺便研究了一下Phoenix，简单的介绍下Phoenix，Phoenix用Java实现，人们通过Phoenix，可以用自己所熟悉的SQL语言来操作HBase,当然它是开源的。1.如何让HBase支持Phoenix？将phoenix-1.1.jar复制到HBase集群每个节点的HBase文件夹下的lib目录，然后重启HBase2.客户端

第一篇（查看）已经介绍了关于通过Thrift访问HBase基本使用，这一篇说一些关于通过Thrift对HBase进行查询的操作。通过HBase.Thrift 所生成的接口类中，其中Hbase.cs为核心类，所有客户端操作HBase的接口的定义和实现都在此类中，如果想查看Thrift服务端的代码，请参考HBase源代码。以下是类中所定义的查询接口：List getRow(byte[]

#最近无论工作还是生活都弄的一团糟，可能是我太浮躁了，整天游戏人生浑浑噩噩的过。算了不说这些扫兴的事情了。关于C#访问Thrift的文章，这应该是第三篇了，也是最后一篇了吧。Thrfit 最麻烦的应该是查询那部分，第二篇我也详细的说了一下，这一篇文章，说一下Thrift中使用很平凡的API（新建表，删除表，插入数据，更新数据，删除数据），最后发一下，为了方便使用Thrift写的一个Helper

#现在网上有关这方面的帖子太多了，我在整资料的时候，看花了眼。为了以后再有这样的问题，所以写了这一篇文章。#编译环境：Windows8  专业 64bit ； Hadoop版本：1.0.4 ；Eclipse SDK版本：4.2.1#此贴有些内容来自网上其他博主的帖子废话少说，进入正题：第一步：安装JDK，至于安装什么版本，自行决定。安装完成后设置环境变量。如下图：

#这问题困扰了我三天了，今晚终于在某位大侠的门下找到了解决方法#Hadoop版本 1.0.4Hadoop在windows下，启动TaskTracker失败，抛出异常信息：Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Fu

# 最近解决了一大推关于Hadoop配置及应用的问题，开源软件是免费，但免费也要你付出点代价因为我在单机配置的hadoop为伪分布模式，今天在通过Eclipse对HDFS进行文件操作的时候，遇到Hadoop的阻止。放出此错误：安全模式的异常，NameNode处于安全模式，禁止文件的操作。解决方案：$bin/hadoop dfsadmin -safem