Hadoop
文章平均质量分 77
守猫de人
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
本地多级文件 合并上传到hdfs(递归上传)
package com.hdfs;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;原创 2016-09-13 13:26:11 · 1164 阅读 · 0 评论 -
hdfs有多级目录 合并文件下载到本地(递归下载)
package com.hdfs;import java.io.FileOutputStream;import java.io.OutputStream;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.ha原创 2016-09-13 13:46:37 · 3680 阅读 · 0 评论 -
本地多级文件 原样上传到hdfs
package com.hdfs;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;原创 2016-09-13 14:21:19 · 543 阅读 · 0 评论 -
scala读取HDFS文件,每次读取一定的字节数
用scala读取一个只有字符的文件,该文件是已经清洗完的数据,有规律,一行是一条数据。现在的需求是一次读取文件中的一部分,依次读取完。如果有疑问,或者找出错误的解决方案,请和我联系。一起研究讨论原创 2017-07-26 11:00:22 · 4421 阅读 · 2 评论 -
scala读取HDFS上的文件,每次读取一行
用scala读取一个只有字符的文件,该文件是已经清洗完的数据,有规律,一行是一条数据。现在的需求是一次读取文件中的一部分,依次读取完。之前用字节流偶尔出现乱码,最后改成一次读取一行了。import java.io.{BufferedReader, InputStreamReader}import org.apache.hadoop.fs.FSDataInputStream/**原创 2017-07-26 11:14:55 · 8130 阅读 · 3 评论 -
Spark计算结果继续追加在HDFS目录下,不会覆盖之前的文件
由于工作需要,我用scala实现在已将有的目录下面继续写入文件。需要重写MultipleTextOutputFormat这个类,具体的请看下面代码,需要交流可以联系我import java.text.SimpleDateFormatimport java.util.Dateimport org.apache.hadoop.fs.{FileSystem, Path}import or原创 2017-07-11 13:50:33 · 7108 阅读 · 3 评论
分享