- 博客(12)
- 收藏
- 关注
原创 hadoop datanode没有启动
datanode启动不了 即执行命令$ bin/hadoop namenode -format 后 默认地址tmp/hadoop-1/dfs/data/current/VERSION namenod 和datanode 的clusterid不一样 把namendoe的clusterid复制到各个datanode下重新start-all.sh即可。 ...
2018-11-24 14:30:41
252
原创 MR 从 mysql中 读取 和 写入 数据
1.编写DBWritable类 public class MYDBWritable implements DBWritable, Writable { private int id; public int getId() { return id; } public void setId(int id) { this.id = id; } public String getTx...
2018-11-15 16:04:47
947
转载 jdbc 连接数据库出现serverTimezone问题
转自 https://my.oschina.net/gef/blog/712383 在String url=“jdbc:mysql://localhost:3306/big3”; //?serverTimezone=UTC出现报错 java.sql.SQLException: The server time zone value ‘Öйú±ê׼ʱ¼ä’ is unrecognized ...
2018-11-13 18:19:54
6541
原创 二次排序中 map prtitioner combokey.comparetor(组合排序对比函数) reduce 和分组管理器(GroupComparetor)的运行先后顺序
二次排序中 map prtitioner combokey.comparetor(组合排序对比函数) reduce 和分组管理器(GroupComparetor)的运行先后顺序 文件为txt文本 内容为年份 和温度 如 1997 50 由上图可知 map端 运行先后顺序是map先读取一行的文本 然后切割处理 之后调用自定义分区类(partitioner)进行分区 然后读取下...
2018-11-11 22:03:14
566
原创 hadoop MR 二次排序
二次排序 例如这样一组气温数据 年份 温度 2006 -20 2006 21 2007 55 2007 16 2007 33 经过reduce处理年份会自动排序 但是如果要对年份和气温分别排序那就需要二次排序了 例如年份升序对气温降序 2006 21 2006 -20 2007 55 2007 33 2007 16 1.自定义combokey(组合key)类 因为在reduce中只对key排...
2018-11-11 19:21:36
522
原创 关于wordcount 和sequencefile map输入k v不同问题
sequencefile文件的map输入 public class mapper extends Mapper <IntWritable, IntWritable,IntWritable, IntWritable>{ protected void map(IntWritable key,IntWritable value, Context context) throws IOE...
2018-11-09 11:08:55
219
原创 MR 使用自带TotalOrderPartitioner类进行全排序的时候输出的out文件没有东西
主要是因为job设置没有设置好先后顺序 Configuration conf = new Configuration(); Job job = Job.getInstance(conf); job.setJobName(&quot;app&quot;); job.setJarByClass(app.class); job.setInputFormatClass(SequenceFileInpu...
2018-11-09 10:12:55
337
原创 mr combiner(map端类似reduce) 和partitioner(map端分区操作)运行先后顺序
public class partitioner extends Partitioner&amp;lt;Text, IntWritable&amp;gt; { @Override public int getPartition(Text text, IntWritable intWritable, int i) { System.out.println(“mypartitioner”); // 打印分...
2018-11-07 21:51:52
453
原创 org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/
org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;报错 因为windous系统环境变量与编译器里的hadoop jar包版本不一致就会出现上述报错 只需导入相同版本jar包即可...
2018-11-06 22:23:17
4353
1
转载 java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are un
在本地跑mr的时候出现java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.错误 原因是没配windoushadoop环境变量 下个hadoop解压到本地配一下环境变量即可 以及hadoop.dll和winutils.exe ...
2018-11-01 10:36:00
9117
原创 hadoop 无法打开50070
hadoop无法打开http://localhost:50070/ 50070端口已经改为9870 打开http://localhost:9870/就好了
2018-10-29 15:57:47
3414
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅