Hipi 文件操作的相关方法（上传图片部分）

hipi是用于 处理小文件的类，核心包是hipi-2.0.jar

用的比较多的类是hipiimagebundle 他的父类是 abstractimagebundle

上传文件时，加载hadoop的配置文件信息，直接用configration conf = new configration(); conf.set("fs.defaultfs");来获取到相关配置信息。

第一次上传文件，加载完配置信息，穿件一个hipiimagebundle对象来把你上传的图片进行打包处理

这个hib对象 在服务器端会有一个元数据文件 和数据文件。分别保存图片的信息元数据  和 文件数据。

具体 代码：        （有别的代码的包，jar包文件 只需要hipi 和 hadoop的包即可）

package com.cee.common.util;
import hipi.imagebundle.HipiImageBundle;


import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.PrintStream;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;


import com.cee.common.SysParameter;


import ch.ethz.ssh2.Connection;
import ch.ethz.ssh2.Session;
import ch.ethz.ssh2.StreamGobbler;

// params  imagefilepath 图片文件夹的路径  hdfsvalue 你的hadoop环境的绝对路径 like  hdfs://172.1.23.145:9000   

// tohibpath 建立后新的hib的相对路径  blocksize看源码不知道啥意思  但是默认是 0  写 0 就好了 

// fromhibpath  第一次上传文件不需要该参数，以后上传，该参数则表明上次hib文件的相对路径

 public static boolean uploadAndMerge(String imageFilePath, String hdfsValue, String toHibPath, int blockSize, String fromHibPath)
throws IOException
{
   boolean complete = false;
File workaround = new File(".");
   System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
Configuration conf = new Configuration();
conf.set("fs.defaultFS", hdfsValue);
Path path = new Path((new StringBuilder(String.valueOf(hdfsValue))).append(toHibPath).toString());
HipiImageBundle hib = new HipiImageBundle(path, conf, blockSize);
hib.open(2);
File f = null;
f = new File(imageFilePath);
File files[] = f.listFiles();
int number = 0;
File afile[];
int j = (afile = files).length;
for (int i = 0; i < j; i++)
{
File file = afile[i];
if (isJPEGImage(file))
{
FileInputStream fis = new FileInputStream(file);
hib.addImage(fis, hipi.image.ImageHeader.ImageType.JPEG_IMAGE);
fis.close();
number++;
}
}


/* Path fromPath = new Path((new StringBuilder(String.valueOf(hdfsValue))).append(fromHibPath).toString());
System.out.println("tohib"+toHibPath+"  frompath"+fromHibPath+"  hdfs"+hdfsValue);
HipiImageBundle fromHib = new HipiImageBundle(fromPath, conf);
hib.append(fromHib);  */

hib.close();
complete = true;
return complete;
}

以上代码注释掉的代码为第二次及以后上传文件才需要用到的代码。

这也是我一直没有解决掉的问题，第N次 上传文件 不能把上次的Hib对象 和本次图片文件打包到一起，只能先把本次文件打包成一个hib对象，然后再追加上次的hib对象

这是一个非常恶心的地方。

File workaround = new File(".");
 System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());

这段代码和上传文件一点关系没有，你也可以不加，控制台会报一堆无关痛痒的错误，很难受

要么在本机的测试环境上加上hadoop的环境变量

关于代码里判断文件是不是jpg后缀什么的 我就懒得写了。。这个能搞这个都会。