- 博客(3)
- 收藏
- 关注
RSS订阅原创 HDFS 通过MR或IO流操作时 kerberos认证配置一切正确缺认证异常失败，往往忽悠了一个很重要的问题。
19/05/20 11:09:25 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS] 19/05/20 1...
2019-05-20 12:08:08
6002
1
原创 flatMap和map的区别
jdk1.8之后，也加入了Lambda表达式，自然也支持map函数。 scala中这两个函数的用法。有一种观点认为将map和flatMap说成Scala函数机制的核心这不过分（在后期开发中会很常用到）。因为实际中我们使用最多的场景就是对数据进行map操作或者flatMap操作。map函数的用法，顾名思义，将一个函数传入map中，然后利用传入的这个函数，将集合中的每个元素处理，并将处理后的结果返回。...
2018-10-11 11:45:41
842
原创 MR 多mapper和reduc应用
MR 多mapper和reduc应用在map读取的阶段，首先FileInputFormat会将输入文件分割成split。Split的数量取决于map的数量，影响map的数量的（split的数量）的主要因素：1、文件的大小当块（dfs.block.size）为128m时，如果输入文件为128m，会被划分为1个split；当块为256m，会被划分为2个split。2、文件的个数FileInputFor...
2018-04-24 16:46:09
256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人