tcmiku的博客

MR 多mapper和reduc应用在map读取的阶段，首先FileInputFormat会将输入文件分割成split。Split的数量取决于map的数量，影响map的数量的（split的数量）的主要因素：1、文件的大小当块（dfs.block.size）为128m时，如果输入文件为128m，会被划分为1个split；当块为256m，会被划分为2个split。2、文件的个数FileInputFor...

jdk1.8之后，也加入了Lambda表达式，自然也支持map函数。scala中这两个函数的用法。有一种观点认为将map和flatMap说成Scala函数机制的核心这不过分（在后期开发中会很常用到）。因为实际中我们使用最多的场景就是对数据进行map操作或者flatMap操作。map函数的用法，顾名思义，将一个函数传入map中，然后利用传入的这个函数，将集合中的每个元素处理，并将处理后的结果返回。...

19/05/20 11:09:25 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]19/05/20 1...