如何在Hadoop的MapReduce程序中处理JSON文件

简介：

最近在写MapReduce程序处理日志时，需要解析JSON配置文件，简化Java程序和处理逻辑。但是Hadoop本身似乎没有内置对JSON文件的解析功能，我们不得不求助于第三方JSON工具包。这里选择json-simple实现我们的功能。

在Hadoop上执行Java程序的命令如下所示：

[plain]  view plain copy print ?

1. [hadoop@localhost]$ hadoop jar my-mapreduce.jar  

my-mapreduce.jar是我们进行日志处理的MapReduce程序。现在假定我们需要在其中处理JSON格式的配置文件，这里忽略如何在Hadoop集群读取文件的细节，只关注如何使用JSON工具包。下面是简单的HelloWorld程序：

[java]  view plain copy print ?

1. import org.json.simple.JSONObject;  
2. public class HelloWorld{  
3.     public static void main(String[] args){  
4.         JSONObject obj=new JSONObject();  
5.         obj.put("name","foo");  
6.         obj.put("num",new Integer(100));  
7.         obj.put("balance",new Double(1000.21));  
8.         obj.put("is_vip",new Boolean(true));  
9.         obj.put("nickname",null);  
10.         System.out.print(obj);  
11.     }  
12. }  

在HelloWorld程序中，只简单修改JSON对象，将其内容打印输出，从而验证解析修改JSON内容的过程。

编译：

由于MapReduce程序需提交到Hadoop集群执行，所以HelloWorld依赖的 json-simple 包必须存在于集群的classpath路径中，如果集群上没有对应的jar包。执行HelloWorld会出现如下异常：
Exception in thread "main" java.lang.NoClassDefFoundError: org/json/simple/JSONObject

简单的解决方法是将 json-simple 包直接和HelloWorld编译结果一起打包，然后即可使用命令hadoop jar HelloWorld.jar执行。需将 json-simple 的jar包解压再同HelloWorld打包。

编译命令如下所示：

[plain]  view plain copy print ?

1. [hadoop@localhost]$ jar tf json-simple-1.1.1.jar  
2. META-INF/MANIFEST.MF  
3. META-INF/  
4. META-INF/maven/  
5. META-INF/maven/com.googlecode.json-simple/  
6. META-INF/maven/com.googlecode.json-simple/json-simple/  
7. META-INF/maven/com.googlecode.json-simple/json-simple/pom.properties  
8. META-INF/maven/com.googlecode.json-simple/json-simple/pom.xml  
9. org/  
10. org/json/  
11. org/json/simple/  
12. org/json/simple/ItemList.class  
13. org/json/simple/JSONArray.class  
14. org/json/simple/JSONAware.class  
15. org/json/simple/JSONObject.class  
16. org/json/simple/JSONStreamAware.class  
17. org/json/simple/JSONValue.class  
18. org/json/simple/parser/  
19. org/json/simple/parser/ContainerFactory.class  
20. org/json/simple/parser/ContentHandler.class  
21. org/json/simple/parser/JSONParser.class  
22. org/json/simple/parser/ParseException.class  
23. org/json/simple/parser/Yylex.class  
24. org/json/simple/parser/Yytoken.class  
25.   
26. [hadoop@localhost]$ unzip json-simple-1.1.1.jar  
27. [hadoop@localhost]$ javac -classpath ./json-simple-1.1.1.jar HelloWorld.java  
28. [hadoop@localhost]$ jar -cfe HelloWorld.jar HelloWorld  HelloWorld.class ./org/  

执行HelloWorld

[plain]  view plain copy print ?

1. [hadoop@localhost]$ hadoop jar HelloWorld.jar  
2. {"balance":1000.21,"num":100,"nickname":null,"is_vip":true,"name":"foo"}