半路出家，立地为猿

最近在看hadoop, 本机装的是伪分布模式。 但每次重启linux后，总需要执行hadoop namenode -format重新格式化namenode。 原因是： HDFS把namenode的格式化信息存在了系统的tmp目录下，该目录每次开机会被清空，因此每次重新启动机器，都需要重新格式化HDFS。 如果之前已经往hdfs里放入了一些文件，这显然是不可接受的。解决方案如下：

把数据存成parquet 格式后，建立对应的表，但是查询的时候会报下面的错误：Hive Runtime Error while processing row [Error getting row data with exception java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWr

遇到一个问题，因为装cdh的时候默认用的是系统/var/log目录，因为是虚拟实例，系统磁盘比较小只有50G,是随着系统的使用cm 上会报警说日志目录空间不足，如果写脚本定时删除，虽然可以解决当前的问题，但不是个好办法。另一个是直接修改配置文件，把所有的/var/log/* 手动改成/home/var/log/* 然后重启，但是这个感觉挺多的，手动改忒麻烦。 于是试把这个目录软链接到挂载的另一个

先下载最新版本，http://gethue.com/hue-4-1-is-out/ 解压，进入目录hue-4.1.0,执行 make apps这个过程中会报很多 gcc 等各咱库找不到等错误，这种是没有安装相应的类库造成的，本人centos7，用yum 更新或安装相应的库之后，就可以。编译成功之后需要更新一下配置，包括hue配置和hadoop 配置 配置 Hue的配置集中在$HUE_HO

ambari 监控页面显示under replicated blocks 显示红色。查了一下发现可以用hadoop fs 的 setrep命令解决这个问题。下面是运行 hadoop fs -help 时，对这个命令的解释-setrep [-R] [-w] <rep> <path> ... : Set the replication level of a fi...