javaEE 专栏 + 琐事小计

FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。...

MapReduce程式调用第三方包和本地库-------------------------问题：在MP程式中如何在不同的TaskTracker节点上调用第三方jar包和读取一些只读的文件。解决方法介绍：我们知道，在Hadoop中有一个叫做DistributedCache的东东，它是用来分发应用特定的只读文件和一个jar包的，以供Map-Reduce框架在启动任务和运行...

前几天去亿阳信通面试，被一个很胖的兄弟问了一个问题，不知道咋处理，回来特意研究了一下，希望能为其他兄弟提供帮助。问题是，HADOOP如何来处理结构化数据，比如大量的XML答案如下（非常遗憾，貌似只能在旧版本API上使用，即 org.apache.hadoop.mapred）：[code="java"]package com.liangc.hadoop.mr;im...

Hadoop2.0介绍Hadoop是 apache 的开源 项目，开发的主要目的是为了构建可靠，可拓展 scalable ，分布式的系 统， hadoop 是一系列的子工程的 总和，其中包含1. hadoop common ： 为其他项目提供基础设施2. HDFS ：分布式的文件系 统3. MapReduce ： A software framework for distrib...

===================================================================异常片段：java.lang.NoSuchFieldError: ALLOW_UNQUOTED_CONTROL_CHARS原因：jackson 这个包的版本与 hadoop 的 jackson 版本不一致，替换即可解决==================...

[code="python"]#!/usr/bin/env python#coding:utf-8import syssys.path.append("/usr/local/lib/python2.7/site-packages/py")from hive_service import ThriftHivefrom hive_service.ttypes impor...

在HIVE建表，同时往HBASE里创建此表DROP TABLE works as usual, but ALTER TABLE is not yet supported for non-native tables.所以，如果要修改HIVE中非本地表的结构，那么只能 drop table 然后重新创建外部表了下面这个建表脚本会创建一个HIVE表，同时也会创建一个 HBASE 表建表脚...

------------------------------------------异常摘要：InstantiationException异常片段：java.lang.RuntimeException: java.lang.InstantiationException at org.apache.hadoop.util.ReflectionUtils.newInstance(Ref...

这种统计可以用计数器完成，以下代码没什么业务逻辑，纯属实验[code="java"]package cn.liangc.hadoop.nmr;import java.io.IOException;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.D...