Atitit.论图片类型 垃圾文件的识别与清理 流程与设计原则 与api概要设计 v2 pbj

Atitit.论图片类型 垃圾文件的识别与清理  流程与设计原则 与api概要设计 v2 pbj

 

 

1. 俩个问题：：识别垃圾文件与清理策略1

2. 如何识别垃圾图片1

2.1. 体积过小文件<10kb1

2.2. 增加扩展名对于无扩展名文件1

2.3. 清理非图片(bmp,jpg,jpeg,png）的文件2

2.4. 尺寸过小图片（210*150）2

2.5. 清理广告图片（高度宽度不成比例）超长超宽图片2

2.6. 清理重复图片（此结果不能加入指纹库）2

2.7. 非本类别的图片（人工识别）2

3. 垃圾图片文件指纹库3

3.1. 根据垃圾文件指纹库（模式结果固化）3

3.2. 根据垃圾文件路径名称库（加快性能比对速度，md5可能比较慢）3

4. 人工识别垃圾图片策略3

5. 清理策略3

6. Code3

6.1. 文件去重4

 

 

 

1. 俩个问题：：识别垃圾文件与清理策略

 

2. 如何识别垃圾图片

2.1. 体积过小文件<10kb

2.2. 增加扩展名对于无扩展名文件

package com.attilax.clr;

 

import com.attilax.clr.imp.MoveExcuter;

import com.attilax.clr.imp.NoPicReconer;

import com.attilax.clr.imp.tooMinSizePicClrerPartImp;

import com.attilax.clr.imp.tooMiniPixPicClrerPartImp;

 

public class ClrerPicClrer extends ClrerAbs {

 

 

public static void main(String[] args) {

ClrerPicClrer c=new ClrerPicClrer();

c.dir="d:\\ati\\isheo";

c.dir="D:\\ati\\p2015\\pic_p";

 

NoExtnameCheckerImp  neImp=new NoExtnameCheckerImp();

c.PreProcessor=neImp;

 

c.traveDir(c.dir);

System.out.println("--f");

2.3. 清理非图片(bmp,jpg,jpeg,png）的文件

Gif js 

2.4. 尺寸过小图片（210*150）

2.5. 清理广告图片（高度宽度不成比例）超长超宽图片

长宽比大于2的图片

2.6. 清理重复图片（此结果不能加入指纹库）

部分重复文件是广告文件，所以容易重复

 

2.7. 非本类别的图片（人工识别）

作者:: 老哇的爪子 Attilax 艾龙，  EMAIL:1466519819@qq.com

转载请注明来源： http://blog.youkuaiyun.com/attilax

 

3. 垃圾图片文件指纹库

3.1. 根据垃圾文件指纹库（模式结果固化）

3.2. 根据垃圾文件路径名称库（加快性能比对速度，md5可能比较慢）

 

4. 人工识别垃圾图片策略

不好的isho

不能like的pic

误删除的文件专门集中放在isho_manu文件夹中，人工处理

 

 

 

5. 清理策略

生成清理脚本（或者直接java程序模式）

移动到制定文件夹（推荐）

 

 

6. Code

AtibrowPrj

public class ClrerPicClrer extends ClrerAbs {

 

 

public static void main(String[] args) {

ClrerPicClrer c=new ClrerPicClrer();

c.dir="d:\\ati\\isheo";

//c.GabFileRecongers.add(new NoPicReconer());

tooMiniPixPicClrerPartImp ClrerPartImp = new tooMiniPixPicClrerPartImp();

ClrerPartImp.dir=c.dir;

ClrerPartImp.targetDir="d:\\ati\\tooMiniPixPic_files";

c.IClrerParts.add(ClrerPartImp);

tooMinSizePicClrerPartImp tmsc=new tooMinSizePicClrerPartImp();

tmsc.dir=c.dir;

tmsc.targetDir="d:/ati/tooMinSize_files";

c.IClrerParts.add(tmsc);

 

c.traveDir(c.dir);

System.out.println("--f");

}

 

 

 

6.1. 文件去重

DeduliAbs_ByMoveToNewFolder.java