
mapreduce
生命不息丶折腾不止
这个作者很懒,什么都没留下…
展开
-
多输入路径MapReduce完整代码详解
代码为完整的Mapreduce代码实现,含有:1. 分区字段的获取;2. 多输入路径的获取;3. 方法:根据指定的日期,和天数,向前推,返回相应的日期集合。4. 执行jar时,传入参数的获取;5. 相关执行哪个参数的设置;原创 2017-04-10 11:27:31 · 716 阅读 · 0 评论 -
mapreduce中读取文件并缓存
//输入维表(type=0时直接输入该文件(文件地址是全路径加文件名), type=1时输入该文件夹下的文件,地址只到文件夹,文件夹下面包含多个文件)public static void InputDimensionFile(String path_file, String type, Configuration conf, FileSystem fs) throws Exception {//原创 2017-04-14 14:09:17 · 3167 阅读 · 0 评论