qq_44735442的博客

在不同的启动模式下，加载文件时的路径写法是不一样的 对于local模式下，默认就是读取本地文件 而在standlone或者yarn-client,或者cluster模式下，默认读的都是hdfs文件系统， 这几种模式下很难读取本地文件（这是很显然的事情，但你可以通过指定节点的文件服务曲线救国）。 下面的代码在local模式下有效，在其它模式下无效： var theP1 = sc.textFile("file:///usr/test/people.json") //读取本地 var theP2 = sc.te

今天编写代码的时候遇见了一个报错显示没有权限从集群上读取数据 Permission denied:user=xxx,access=WRITE,inode=xxx 问题解析 如果hadoop没有启Kerberos或者从Kerberos获取的用户为null，那么将获取HADOOP_USER_NAME环境变量，并将它的值作为Hadoop执行用户。 如果我们没有设置HADOOP_USER_NAME环境变量，那么程序将调用whoami来获取当前用户，并用groups来获取用户所在组。 解决思路： 配置window下

1.问题出现 仔细观看是没找到winutils.exe 2.问题解决 第一种方法， 我们找到源码292行，他是先从System.getProperty("hadoop.home.dir");这里获得信息， 从他的注释信息看 // first check the Dflag hadoop.home.dir with JVM scope 首先检查的应该是java虚拟机里面的这个hadoop.home.dir， 那我们就可以直接在程序开始执行出手动添加 System.setProperty("hadoop.h

利用MapReduce实现自定义排序 1.第一种实现的方式是：将数据封装到list中，使用集合的排序方法实现排序在cleanup方法中加入代码实现排序； 所以这里只适合把所有的数据都放在一个pojo中； 2.第二种是将pojo类作为key从Mapper传递到Reducer，然后值作为key，然后遍历进行传递。 3.共同点：两种方式都要实现WritableComparable接口，重写compareTo()方法，然后指定两个int类型的数据相减， 或者也可以指定多字段进行排序 1.Pojo类（用来实现排序的，