NewDay_的博客

常见错误及解决方案1）导包容易出错。尤其Text和CombineTextInputFormat。2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable.报的错误是类型转换异常。3）java.lang.Exception: java.io.IOException: Illegal partition for13926435656 (4)，说明Partition和ReduceTask个数没对上，调整ReduceTask个数。4）

MapReduce编程规范Mapper阶段(1)用户自定义的Mapper要继承自己的父类.(2) Mapper的输入数据是KV对的形式(KV的类型可自定义)(3) Mapper中的业务逻辑写在map()方法中(4) Mapper的输出数据是KV对的形式(KV的类型可自定义)(5) map()方法(MapTask进程) 对每一个K,V>调用一次Reducer阶 段(1)用户自定义的Reducer要继承自己的父类(2) Reducer的输入数据类型对应Mapper的输出数据类型，也是K

使用 hdfs dfs -put /源文件路径 /目的文件路径报错org.apache.hadoop.ipc.RemoteException(java.io.IOException)解决方案首先将hdfs暂停，建议使用stop-all-sh 停止所有，或者 stop-dfs-sh分布删除主节点 hadoop 文件夹下的 logs 和 tmp 文件夹 rm -r logs 或者 rm -r tmp主节点奴隶节点删除完成之后，进行格式化hadoop hdfs namenode -fo

import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class renameFile { public static void main

import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStr

import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path; public class nkdirDemo { public static void m..

import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStat

import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;public class fileSystem { public static void main(String [] args) throws IOExceptio

Hadoop通过URL方式下载文件： 注意如下InputStream inputStream = new URL(“hdfs://Master:9000/user/hadoop/file1.txt”).openStream();//获取文件输入流里面的路径，是你hadoop运行的IP地址以及端口号，端口号参照core-site.xml配置的端口号import java.io.File;import java.io.FileOutputStream;import java.io.InputS