行走的树

SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。

我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现；在Hadoop2.x的版本中，文件块的默认大小是128M，老版本中默认是64M；寻址时间：HDFS中找到目标文件块（block）所需要的时间。原理：文件块越大，寻址时间越短，但磁盘传输时间越长；文件块越小，寻址时间越长，但磁盘传输时间越短。一、为什么HDFS中块（block）不能设置太大，也不能设置太小？如果块设置过大，一方面，从磁盘传输数

If a YARN container grows beyond its heap size setting, the map or reduce task will fail with an error similar to the one below:"Container [pid=14639,containerID=container_1400188786457_0006_01_0016

Hadoop文件系统 基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例： public static FileSystem.get(Configur

前言针对Java代码中实现对HDFS文件的读取（FSDataInputStream）与写入（FSDataOutputStream）在工作项目中经常使用；下边就读写流程做一下详细介绍。环境准备1.集群配置文件如图，一般对文件的读取，会将core-site.xml，hdfs-site.xml，slaves文件拷贝到项目的根目录下； 如果项目中涉及到MapReduce的，需要将mapred-site.x

java.lang.SecurityException: class “javax.servlet.FilterRegistration“‘s signer information does not match signer information of other classes in the same package

近期项目中用到实时抽取ActiveMQ中的爬虫数据到HIVE表中，但是在持久化数据到HDFS的时候，发现FSDataOutputStream.hsync()不能实时持久化，只能持久化第一条数据。 从一些文章中了解到，只有当HDFS中的block达到128M时，才可以使block处于completed状态，即持久化显示查到，故在代码测试中如果将流close掉，即可实现持久化，但是与业务场景不

参考官方文档：http://spark.apache.org/docs/latest/building-spark.htmlSpark2.2+移除了对hadoop2.5的支持！！！一、 Spark-2.1.2 编译环境准备1、hadoop-2.5.0-cdh5.3.6 2、安装并配置好Maven(本次编译使用apache maven 3.3.9) 3、 安装并配置JDK(本次编译使...