scala筛掉空行可能遇到的问题

input.txt的内容：

需求：

计算其中各个级别的日志消息条数，即INFO、WARN、ERROR的条数，其中空白的地方为空行，不统计

val input =sc.textFile("file:///home/hadoop1/Desktop/input.txt")
val tokensized = input.map(line=>line.split(" ")).filter(words=>words.size>0)
val result = tokensized.map(x=>(x(0),1)).reduceByKey(_+_).collect

运行效果图如下：

可以看出并没有实现将空行过滤出去的效果，我们再看另一段代码

val input = sc.textFile("file:///home/hadoop1/Desktop/input.txt")
val idata = input.map(x=>x.split(" ")(0)) .filter(_.length>0)//这里还可以使用_.size>0或者_.trim!=""
val result = idata.map(x=>(x,1)).reduceByKey(_+_).collect

运行效果图如下：

而这部分代码将空行过滤出去了，这是为什么？

tokensizedRDD是双层Array的，所以它的长度不为0，下图可以说明这一点

而第二段代码已经将其变为一层Array了，所以可以将空的值过滤出去，最终成功统计各类型日志数