
hadoop
数学工具构造器
这个作者很懒,什么都没留下…
展开
-
通过docker镜像建立hdfs与spark集群
在vscode中,安装xml-tools后按Cltr-Alt-L可以格式化xml RUN apt install openjdk-8* -y,jdk路径为 export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64" 获取某个容器的ip import json import os from pathlib import Path if __name_...原创 2020-01-05 13:29:56 · 402 阅读 · 0 评论 -
MapReduce WordCount
我的实现 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWri...原创 2019-10-04 13:27:47 · 254 阅读 · 0 评论 -
只有map没有reduce的情况:where查询
package com.job; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.map...原创 2019-10-04 13:42:07 · 1079 阅读 · 0 评论 -
MapReduce的reduce端join
参考了一个博客:https://www.liangzl.com/get-article-detail-131008.html 做法是建一个writable的bean,用来装载值 对于不同类型的表,通过FileInputFormat.setInputPaths(job,input);方法读取一批文件,根据文件名来判断是哪个表。 JoinBean import org.apache.hadoop....原创 2019-10-05 00:12:36 · 238 阅读 · 0 评论