u013281331的专栏

关于防火墙，hadoop本身配置都确定没任何问题，集群启动不报错，但打开50070页面，始终live nodes数目不对，于是我尝试/etc/hosts文件配置是否存在逻辑的错误：127.0.0.1       localhost192.168.1.233   localhost# Hadoop 192.168.1.233   ubuntu-233192.168.1.234  

Reference：《Archival Storage, SSD & Memory》《Heterogeneous Storages in HDFS》Hadoop has traditionally been used for batch processing data at large scale. Batch processing applications care mo

Hadoop提供了C接口，这样可以通过C语言直接操纵Hadoop文件系统，虽然功能没有Java版本的完备，但可以满足一些项目需要。有关C接口的介绍，请点击此处。本文主要一步一步实验如何使用libhdfs.so共享库。官方发行的本地库貌似只提供了32位的，如果在64位的平台，需要自己编译。这里做如下假定：已经部署了一个健康的Hadoop集群，对外的访问接口为：10.1

要进行基准测试，首先启动hdfs和yarn：

一：在CentOS挂载新硬盘

DFSInputStream类共有三个read方法：public synchronized int read(final ByteBuffer buf)public synchronized int read(final byte buf[], int off, int len)public int read(long position, byte[] buffer, int

由多个客户端对同一个文件发起并发追加操作后，只有最后发起的那个客户端抢得追加的锁，其他客户端报错：        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.appendFile(FSNamesystem.java:2347)        at org.apache.hadoop.hdfs.server.namenode.

当引入hadoop-common-2.2.0.jar包进行二次开发，比如读写HDFS文件时，初次运行报错。No FileSystem for scheme: hdfs这是因为该包下默认的core-default.xml没有配置如下属性： fs.hdfs.impl org.apache.hadoop.hdfs.DistributedFileSystem The FileSy

在Windws下的Eclipse开发Hadoop程序，运行后总会在控制台输出以下异常：2014-01-09 10:10:14,953 WARN  util.NativeCodeLoader (NativeCodeLoader.java:(62)) - Unable to load native-hadoop library for your platform... using builtin-

点击Browse the filesystem后url跳转到如下地址：http://ubuntu-234:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/&nnaddr=192.168.1.233:9000把上面的ubuntu-234替换为对应的IP地址后，页面正常访问。问题出在本机（打开浏览器访问这个地址的机器）的hos

通过：cat /etc/issue 查看当前系统版本：Ubuntu 12.04.3通过：uname -ar 查看更想起信息：Linux ubuntu-236 3.8.0-29-generic #42~precise1-Ubuntu SMP Wed Aug 14 16:19:23 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux确定需要重新编译H

《大数据分析引擎Apache Flink升级成为Apache顶级项目》Apache Flink是一个高效、分布式、基于Java实现的通用大数据分析引擎，它具有分布式 MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案，它支持批量和基于流的数据分析，且提供了基于Java和Scala的API。从Apache官方博客中得知，Flink已于近日升级成为Apac