盛夏与微风

1.首先查看日志文件的字符集 [logStash@hadoop3 gamelogs]$ file game.txt game.txt: UTF-8 Unicode (with BOM) text, with CRLF line terminators 2.如果是UTF-8编码，则在LogStash配置文件设置charset为UTF-8 input{ file{ ...

今天启动hdfs时hdfs namenode -format了一下，导致再次启动时datanode都没动静，查看日志如下： 2018-08-30 10:22:59,831 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/hadoop/h...

如题如下图所示，hadoop拒绝history通过19888端口连接查看已完成的job的日志，即点击下图的history之后，拒绝通过19888端口连接 原因在于：通过start-all.sh启动hadoop各项节点后，historyserver并没有启动，需要手动启动，因此可以通过以下命令来手动启动historyserver。 启动命令：mr-jobhistory-daemon.sh s...

默认情况下，一个reducer产生一个文件，以name-r-nnnnn来命名，其中默认的name为part，nnnnn从(00000开始递增)，保证了每个reducer不会产生重复的文件。 如果想要更改输出文件的name，可以使用MultipleOutput类，它允许将数据写到多个文件，这些文件的名字来源于输入的key、value或任意字符串。在reduce()中使用MultipleOutp...

1. BindTransportException[Failed to bind to [9300-9400] Exception in thread "main" BindTransportException[Failed to bind to [9300-9400]]; nested: ChannelException[Failed to bind to: /192.168.0.1:9400]...