Tika 解析 大于10万解决方法



Tika是一个内容抽取的工具集合(a toolkit for text extracting)。它集成了 POI,  Pdfbox 并且为文本抽取工作提供了一个统一的界面。其次，Tika也提供了便利的扩展API，用来丰富其对第三方文件格式的支持。

在当前的0.2-SNAPSHOT版本中， Tika提供了对如下文件格式的支持:

• PDF - 通过Pdfbox
• MS-* - 通过POI
• HTML - 使用nekohtml将不规范的html整理成为xhtml
• OpenOffice 格式 - Tika提供
• Archive - zip, tar, gzip, bzip等
• RTF - Tika提供
• Java class - Class解析由ASM完成
• Image - 只支持图像的元数据抽取
• XML

Tika的API十分便捷，核心是Parser interface，其中定义了一个parse方法：
public void parse(InputStream stream, ContentHandler handler, Metadata metadata)
用stream参数传递需要解析的文件流， 文本内容会被传入handler，而元数据会更新至metadata。

可以使用Tika的ParserUtils工具来根据文件的mime-type来得到一个适当的Parser来进行解析工作。或者Tika还提供了一个AutoDetectParser根据不同的二进制文件的特殊格式 (比如说Magic Code)，来寻找适合的Parser。

提示：主要tika-xx.jar,解析相应的文件必须有相应的jar.例如：excel文件必须用到poi-xx.jar

相关包下载地址http://download.youkuaiyun.com/download/an74520/7658941

[java] view plain copy print ?

1. package com.miracle.tools;  
2. import org.apache.tika.metadata.Metadata;  
3. import org.apache.tika.parser.AutoDetectParser;  
4. import org.apache.tika.parser.ParseContext;  
5. import org.apache.tika.parser.Parser;  
6. import org.apache.tika.sax.BodyContentHandler;  
7. import org.xml.sax.ContentHandler;  
8. import java.io.*;  
9.   
10. /** 
11.  * Created with IntelliJ IDEA. 
12.  * User: lianan 
13.  * Date: 14-3-3 
14.  * Time: 上午10:05 
15.  * To change this template use File | Settings | File Templates. 
16.  */  
17. public class TiKaUtil {  
18.   
19.     public static String parseFile(File file){  
20.         Parser parser = new AutoDetectParser();  
21.         InputStream input = null;  
22.         try{  
23.             Metadata metadata = new Metadata();  
24.             metadata.set(Metadata.CONTENT_ENCODING, "utf-8");  
25.             metadata.set(Metadata.RESOURCE_NAME_KEY, file.getName());  
26.             input = new FileInputStream(file);  
27.             ContentHandler handler = new BodyContentHandler();//当文件大于100000时，new BodyContentHandler(1024*1024*10);   
28.             ParseContext context = new ParseContext();  
29.             context.set(Parser.class,parser);  
30.             parser.parse(input,handler, metadata,context);  
31.             for(String name:metadata.names()) {  
32.                 System.out.println(name+":"+metadata.get(name));  
33.             }  
34.             System.out.println(handler.toString());  
35.             return handler.toString();  
36.         }catch (Exception e){  
37.             e.printStackTrace();  
38.         }finally {  
39.             try {  
40.                 if(input!=null)input.close();  
41.             } catch (IOException e) {  
42.                 e.printStackTrace();  
43.             }  
44.         }  
45.         return null;  
46.   
47.     }  
48.   
49.     public static void main(String argt0[])throws Exception{  
50.         parseFile(new File("E:\\学习手册pdf\\HOST.txt"));  
51.     }  
52. }  
53. 最后记得修改数据库对应字段的类型！