自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 hadoop datanode没有启动

datanode启动不了 即执行命令$ bin/hadoop namenode -format 后 默认地址tmp/hadoop-1/dfs/data/current/VERSION namenod 和datanode 的clusterid不一样 把namendoe的clusterid复制到各个datanode下重新start-all.sh即可。 ...

2018-11-24 14:30:41 252

原创 MR 从 mysql中 读取 和 写入 数据

1.编写DBWritable类 public class MYDBWritable implements DBWritable, Writable { private int id; public int getId() { return id; } public void setId(int id) { this.id = id; } public String getTx...

2018-11-15 16:04:47 947

转载 jdbc 连接数据库出现serverTimezone问题

转自 https://my.oschina.net/gef/blog/712383 在String url=“jdbc:mysql://localhost:3306/big3”; //?serverTimezone=UTC出现报错 java.sql.SQLException: The server time zone value ‘Öйú±ê׼ʱ¼ä’ is unrecognized ...

2018-11-13 18:19:54 6541

原创 二次排序中 map prtitioner combokey.comparetor(组合排序对比函数) reduce 和分组管理器(GroupComparetor)的运行先后顺序

二次排序中 map prtitioner combokey.comparetor(组合排序对比函数) reduce 和分组管理器(GroupComparetor)的运行先后顺序 文件为txt文本 内容为年份 和温度 如 1997 50 由上图可知 map端 运行先后顺序是map先读取一行的文本 然后切割处理 之后调用自定义分区类(partitioner)进行分区 然后读取下...

2018-11-11 22:03:14 566

原创 hadoop MR 二次排序

二次排序 例如这样一组气温数据 年份 温度 2006 -20 2006 21 2007 55 2007 16 2007 33 经过reduce处理年份会自动排序 但是如果要对年份和气温分别排序那就需要二次排序了 例如年份升序对气温降序 2006 21 2006 -20 2007 55 2007 33 2007 16 1.自定义combokey(组合key)类 因为在reduce中只对key排...

2018-11-11 19:21:36 522

原创 关于wordcount 和sequencefile map输入k v不同问题

sequencefile文件的map输入 public class mapper extends Mapper <IntWritable, IntWritable,IntWritable, IntWritable>{ protected void map(IntWritable key,IntWritable value, Context context) throws IOE...

2018-11-09 11:08:55 219

原创 MR 使用自带TotalOrderPartitioner类进行全排序的时候输出的out文件没有东西

主要是因为job设置没有设置好先后顺序 Configuration conf = new Configuration(); Job job = Job.getInstance(conf); job.setJobName("app"); job.setJarByClass(app.class); job.setInputFormatClass(SequenceFileInpu...

2018-11-09 10:12:55 337

原创 mr combiner(map端类似reduce) 和partitioner(map端分区操作)运行先后顺序

public class partitioner extends Partitioner<Text, IntWritable> { @Override public int getPartition(Text text, IntWritable intWritable, int i) { System.out.println(“mypartitioner”); // 打印分...

2018-11-07 21:51:52 453

原创 org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/

org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;报错 因为windous系统环境变量与编译器里的hadoop jar包版本不一致就会出现上述报错      只需导入相同版本jar包即可...

2018-11-06 22:23:17 4353 1

转载 java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are un

在本地跑mr的时候出现java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.错误    原因是没配windoushadoop环境变量    下个hadoop解压到本地配一下环境变量即可   以及hadoop.dll和winutils.exe   ...

2018-11-01 10:36:00 9117

原创 hadoop找不到slaves配置文件

hadoop3.0以后slaves更名为workers

2018-10-29 15:59:31 2375

原创 hadoop 无法打开50070

hadoop无法打开http://localhost:50070/ 50070端口已经改为9870 打开http://localhost:9870/就好了

2018-10-29 15:57:47 3414

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除