hijk139的专栏

--统计数据的行数 cd hdfs:/// A = LOAD '/logdata/2012*/*/nohup_*' AS (name:chararray) ; B = GROUP A BY name; C = FOREACH B GENERATE group, COUNT(A); D = ORDER C BY ($1); E = FILTER D BY $1 > 200;

最近flume运行不是很稳定，本次由于hadoop不能写入，导致flume报错，Configured capacity is 100000000 but the  checkpoint file capacity is 1000000，重启flume后问题仍然存在。1，详细报错如下：22 Jan 2013 11:07:42,568 INFO  [pool-7-thread-1] (or

hadoop报错导致flume无法写入日志文件，hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256问题描述：报错具体如下2013-01-21 00:00:07,547 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiv

故障现象：   [hadoop@dtydb6 logs]$ vi hadoop-hadoop-datanode-dtydb6.log        at java.io.RandomAccessFile.(RandomAccessFile.java:233)        at org.apache.hadoop.hdfs.server.datanode.FSDataset.get

如图1所示，一个flume-ng agent主要包括source，channel和sink三部分，三部分运行在java JVM中，JVM一般运行在linux'操作系统上，因此，这些因素都可能影响最终的性能。flume-ng性能优化与架构设计，简单来讲，也主要包括以上部分。1, 主键的参数设计1.1 source的配置有时候不需要每台主机均安装flume agent,可以和s