hijk139的专栏

单节点伪分布式hadoop的安装与配置安装需要两个先决条件，java版本1.6以上和ssh登录本机不需要输入密码，不同版本的hadoop安装方法不同，注意要通过apache网站的匹配安装说明进行安装1，安装javaInstall javarpm -ivh jdk-7u7-linux-x64.rpm[root@linux2 ~]# rm /usr/bin/javarm:

一般来说，hadoop主要有三个默认参数文件，分别为core-default.xml，hdfs-default.xml，mapred-default.xml。其它需要用户配置的参数文件为core-site.xml，hdfs-site.xml，mapred-site.xml，下面分别介绍下相关参数的含义三个重要配置文件1，core-site.xml[node1 conf]$

故障现象：   [hadoop@dtydb6 logs]$ vi hadoop-hadoop-datanode-dtydb6.log        at java.io.RandomAccessFile.(RandomAccessFile.java:233)        at org.apache.hadoop.hdfs.server.datanode.FSDataset.get

hadoop报错导致flume无法写入日志文件，hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256问题描述：报错具体如下2013-01-21 00:00:07,547 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiv

最近flume运行不是很稳定，本次由于hadoop不能写入，导致flume报错，Configured capacity is 100000000 but the  checkpoint file capacity is 1000000，重启flume后问题仍然存在。1，详细报错如下：22 Jan 2013 11:07:42,568 INFO  [pool-7-thread-1] (or

--统计数据的行数 cd hdfs:/// A = LOAD '/logdata/2012*/*/nohup_*' AS (name:chararray) ; B = GROUP A BY name; C = FOREACH B GENERATE group, COUNT(A); D = ORDER C BY ($1); E = FILTER D BY $1 > 200;

1,flume日志报错，同时没能正常收集相关日志文件Caused by: org.apache.flume.ChannelException: Space for commit to queue couldn't be acquired Sinks are likely not keeping up with sources, or the buffer size is too tight

业务系统需要收集监控系统日志，想到了hadoop的flume。经过试验，虽说功能不算足够强大，但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具，能够和hadoop,hive等配置完成日志收集，存储，分析处理等工作，更详细的介绍可以参见apache网站。下面介绍下简单的安装配置方法1,网上下载flume-ng安装包，分别部署在收集和接收日志文件的服务器上，服

前期准备1，每台主机均已上传并解压相关软件，并安装jdk 1.6版本以上，具体方法可以参照上篇文章。2，配置ssh互通，本质就是把本机的.ssh/id_rsa.pub文件传输到本机和远程主机.ssh/authorized_keys中 2.1 配置从master到其它主机无密码登录，理论上只设置此步骤即可[hadoop@linux1 ~]$ ssh-keygen -t rsa

1,按照如下方法配置安装hadoop服务器，完成准备配置http://blog.youkuaiyun.com/hijk139/article/details/83073432，修改master主机的slave配置，添加所需的dataname的主机名或者IP地址3，启动datanode节点上的相关进程$ cd path/to/hadoop$ bin/hadoop-daemon