Hadoop
关注
分享
扫一扫
Hadoop学习分享
hager9
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
本地使用HDFS-API连接远程Hadoop报错
背景本地使用HDFS-API访问远程Hadoop的时候报错：（如：执行fileSystem.copyFromLocalFile(src, dst)时）org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /haohaodata/haohaodata.txt could only be replicated to 0 n...原创 2020-01-25 19:09:30 · 521 阅读 · 0 评论 -
Hadoop MapReduce Splits 切片源码分析及切片原理
MapReducer编程之数据分片Split源码解读文章目录数据切片核心源码Debug流程总结数据切片核心源码// Create the splits for the jobLOG.debug("Creating splits at " + jtFs.makeQualified(submitJobDir));// TODO 数据是如何分片的 核心方法入口int maps = write...原创 2020-01-17 00:00:54 · 702 阅读 · 0 评论 -
MapReducer编程之WordCount运行流程源码解读
MapReducer编程之WordCount运行流程源码解读1、数据是如何读取进来的查看源码Mapper.java 如下：package org.apache.hadoop.mapreduce;import java.io.IOException;import org.apache.hadoop.classification.InterfaceAudience;import org...原创 2020-01-14 23:22:12 · 266 阅读 · 0 评论 -
MapReduce编程之词频统计WordCount
文章目录编写Mapper类编写Reducer类编写Driver类编写FileUtils工具类pom.xml编写Mapper类package com.haohaodata.bigdata.hadoop.mapreduce.wc;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;...原创 2020-01-14 20:45:00 · 769 阅读 · 0 评论 -
junit及HDFS API常用方法
package com.haohaodata.bigdata;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.permission.FsPermission;import org.apache.hadoop.io.IOUtils;i...原创 2020-01-14 20:26:12 · 224 阅读 · 0 评论 -
MapReudce在Windows上运行的坑java.io.IOException: Could not locate executable null\bin\winutils.exe in the
错误一：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决办法：1、下载winutils.exe2、创建一个目录 比如 C:\winutils\bin3、将 winutils.exe 放入上述创建好的目录下4、设置 HADOOP_HOME=C:\w...原创 2020-01-13 01:13:15 · 152 阅读 · 0 评论