xishanxinyue的专栏

编译hadoop Hadoop官网已经提供二进制发行版本，可以直接使用，但是很多情况还是需要更具源代码重新编译hadoop。比如1、hadoop需要定制化修改 2、hadoop为了提升性能以及一些java库的缺失，一部分代码引入了本地库，使用c语言编写。那官方提供的本地库文件可能和你实际运行的机器不匹配，导致本地库无法加载，虽然可以通过屏蔽本地库解决问题的，但是为了提升性能还是

实现思路：存储：大矩阵很多都是稀疏矩阵，并且有可能有上百万的行和上百万的列。那么矩阵可以存在类似HBase面向列的分布式数据库中。假设HTable中有两个表A和表B分别存储两个巨型矩阵a和b。表A和表B都是只有一个列族。列名都是1开始计数。那么表A和表B所存储的矩阵a和矩阵b表示为如下形式：矩阵a(m,n):a11 a12 a13 ...   a1na21 a22

hadoop 启动后yarn不能监控问题：现象：启动各个节点成功 包括resourceManager 但是监控页面无法监控job task masterapplication 日志无异常。可能原因：centos主机名和ip绑定的配置文件/etc/hosts 中 127.0.0.1 后也绑定了主机名hadoop1。导致节点之间通讯异常。并且无法远程访问hadoop主节点。

nutch 在抓取网页的时代报如下错误：2015-06-30 16:25:53,420 DEBUG security.UserGroupInformation - PrivilegedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.mapred.InvalidInputException: Input path does

问题背景： 哥最近升级了下hadoop、 hbase、 spark，发现hbase升级后主节点上的hregionsever老是启动不了。 查看日志发现如下端口冲突错误：java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegion