whgyxy的博客

scala操作Hadoop Api改变目录权限成777及写入单个hdfs文件Hadoop 2.7.0支持修改目录的权限，可以修改成任意权限。这个问题的背景是，如果是某个人生成了一个hdfs路径，同一个group的成员如果想修改这个路径上面的内容，需要重新写入hdfs路径，在新的Hadoop Api这里会存在权限问题，必须将目录的权限修改下才能写入。如果想单独在某个hdfs目录下面写入一个文件，可以使用FSDataOutputStream类。spark生成的hdfs都是目录，这里使用输出流可以单独

Hadoop中的LineReader的readLine函数可以说写的很不错，这里结合自己的理解，详细的添加了注释。该函数最精彩的一点就是保证了读取分片的时候不会出现断行，针对不同的文件系统，能够做到正确的判断行结束的位置，从而准确的读出文本中的一行内容。 1、如果当前字符是’\r’，虽然不能立即确定是不是读到行尾了（后面可能跟着’\n’）,但是这行的内容已经确定了，就是行结束符的长度没有确

Scala操作HDFS基本的HDFS操作包括：获取文件系统、检查文件是否存在、列举当前目录下的所有文件路径、列举当前目录下的所有文件名称、删除当前路径、创建新的路径import org.apache.hadoop.confimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.{FileStatus, F...