java抽取word,pdf的四种武器

部署运行你感兴趣的模型镜像

http://www-128.ibm.com/developerworks/cn/java/l-java-tips/

 

 

java抽取word,pdf的四种武器

 

 

 


级别: 初级

chris (chris@matrix.org.cn), 毕业于中国人民大学信息学院

2003 年 6 月 27 日

很多人用java进行文档操作时经常会遇到一个问题,就是如何获得word,excel,pdf等文档的内容?我研究了一下,在这里总结一下抽取word,pdf的几种方法。

用jacob

其实jacob是一个bridage,连接java和com或者win32函数的一个中间件,jacob并不能直接抽取word,excel等文件,需要自己写dll哦,不过已经有为你写好的了,就是jacob的作者一并提供了。

jacob jar与dll文件下载: http://www.matrix.org.cn/down_view.asp?id=13

下载了jacob并放到指定的路径之后(dll放到path,jar文件放到classpath),就可以写你自己的抽取程序了,下面是一个简单的例子:

import java.io.File;
import com.jacob.com.*;
import com.jacob.activeX.*;
/**
 * Title: pdf extraction
 * Description: email:chris@matrix.org.cn
 * Copyright: Matrix Copyright (c) 2003
 * Company: Matrix.org.cn
 * @author chris
 * @version 1.0,who use this example pls remain the declare
 */
public class FileExtracter{
 public static void main(String[] args) {
  ActiveXComponent component = new ActiveXComponent("Word.Application");
  String inFile = "c://test.doc";
 String tpFile = "c://temp.htm";
  String otFile = "c://temp.xml";
  boolean flag = false;
  try {
   component.setProperty("Visible", new Variant(false));
   Object wordacc = component.getProperty("document.").toDispatch();
   Object wordfile = Dispatch.invoke(wordacc,"Open", Dispatch.Method, 
                                     new Object[]{inFile,new Variant(false), new Variant(true)},

                                              new int[1] ).toDispatch();
   Dispatch.invoke(wordfile,"SaveAs", Dispatch.Method, new Object[]{tpFile,new Variant(8)}, new int[1]);

            Variant f = new Variant(false);
   Dispatch.call(wordfile, "Close", f);
   flag = true;
  } catch (Exception e) {
   e.printStackTrace();
  } finally {
   component.invoke("Quit", new Variant[] {});
  }
 }
}






用apache的poi来抽取word,excel。

poi是apache的一个项目,不过就算用poi你可能都觉得很烦,不过不要紧,这里提供了更加简单的一个接口给你:

下载经过封装后的poi包: http://www.matrix.org.cn/down_view.asp?id=14

下载之后,放到你的classpath就可以了,下面是如何使用它的一个例子:

import java.io.*;
import  org.textmining.text.extraction.WordExtractor;
/**
 * <p>Title: word extraction</p>
 * <p>Description: email:chris@matrix.org.cn</p>
 * <p>Copyright: Matrix Copyright (c) 2003</p>
 * <p>Company: Matrix.org.cn</p>
 * @author chris
 * @version 1.0,who use this example pls remain the declare
 */
public class PdfExtractor {
  public PdfExtractor() {
  }
  public static void main(String args[]) throws Exception
  {
  FileInputStream in = new FileInputStream ("c://a.doc");
  WordExtractor extractor = new WordExtractor();
  String str = extractor.extractText(in);
  System.out.println("the result length is"+str.length());
   System.out.println("the result is"+str);
}
}






pdfbox-用来抽取pdf文件

但是pdfbox对中文支持还不好,先下载pdfbox: http://www.matrix.org.cn/down_view.asp?id=12

下面是一个如何使用pdfbox抽取pdf文件的例子:

import org.pdfbox.pdmodel.PDdocument.
import org.pdfbox.pdfparser.PDFParser;
import java.io.*;
import org.pdfbox.util.PDFTextStripper;
import java.util.Date;
/**
 * <p>Title: pdf extraction</p>
 * <p>Description: email:chris@matrix.org.cn</p>
 * <p>Copyright: Matrix Copyright (c) 2003</p>
 * <p>Company: Matrix.org.cn</p>
 * @author chris
 * @version 1.0,who use this example pls remain the declare
 */
public class PdfExtracter{
public PdfExtracter(){
  }
public String GetTextFromPdf(String filename) throws Exception
  {
  String temp=null;
  PDdocument.nbsppdfdocument.null;
  FileInputStream is=new FileInputStream(filename);
  PDFParser parser = new PDFParser( is );
  parser.parse();
  pdfdocument.nbsp= parser.getPDdocument.);
  ByteArrayOutputStream out = new ByteArrayOutputStream();
  OutputStreamWriter writer = new OutputStreamWriter( out );
  PDFTextStripper stripper = new PDFTextStripper();
  stripper.writeText(pdfdocument.getdocument.), writer );
  writer.close();
  byte[] contents = out.toByteArray();
  String ts=new String(contents);
  System.out.println("the string length is"+contents.length+"/n");
  return ts;
}
public static void main(String args[])
{
PdfExtracter pf=new PdfExtracter();
PDdocument.nbsppdfdocument.nbsp= null;
try{
String ts=pf.GetTextFromPdf("c://a.pdf");
System.out.println(ts);
}
catch(Exception e)
  {
  e.printStackTrace();
  }
}
}







抽取支持中文的pdf文件-xpdf

xpdf是一个开源项目,我们可以调用他的本地方法来实现抽取中文pdf文件。

下载xpdf函数包: http://www.matrix.org.cn/down_view.asp?id=15

同时需要下载支持中文的补丁包: http://www.matrix.org.cn/down_view.asp?id=16

按照readme放好中文的patch,就可以开始写调用本地方法的java程序了

下面是一个如何调用的例子:

import java.io.*;
/**
 * <p>Title: pdf extraction</p>
 * <p>Description: email:chris@matrix.org.cn</p>
 * <p>Copyright: Matrix Copyright (c) 2003</p>
 * <p>Company: Matrix.org.cn</p>
 * @author chris
 * @version 1.0,who use this example pls remain the declare
 */
public class PdfWin {
  public PdfWin() {
  }
  public static void main(String args[]) throws Exception
  {
    String PATH_TO_XPDF="C://Program Files//xpdf//pdftotext.exe";
    String filename="c://a.pdf";
    String[] cmd = new String[] { PATH_TO_XPDF, "-enc", "UTF-8", "-q", filename, "-"};
    Process p = Runtime.getRuntime().exec(cmd);
    BufferedInputStream bis = new BufferedInputStream(p.getInputStream());
    InputStreamReader reader = new InputStreamReader(bis, "UTF-8");
    StringWriter out = new StringWriter();
    char [] buf = new char[10000];
    int len;
    while((len = reader.read(buf))>= 0) {
    //out.write(buf, 0, len);
    System.out.println("the length is"+len);
    }
    reader.close();
    String ts=new String(buf);
    System.out.println("the str is"+ts);
  }
}



关于作者

作者简介:chris,毕业于中国人民大学信息学院。现于香港进行金融分析软件研发,作者亦活跃于 jxta p2p开源软件的开发社区,并热衷于网络安全,AI搜索引擎技术与基于java的游戏引擎技术。
如果大家谁有更好的办法,请告诉作者 : chris@matrix.org.cn

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型,相比 3.0 版本,它提升了图像质量、运行速度和硬件效率

<think>好的,用户想了解如何使用最小二乘法来计算权重,特别是通过示例来说明。我需要结合提供的引用资料,整理出一个清晰的回答。首先,我应该回顾最小二乘法的基本概念,然后引入加权最小二乘法(WLS),解释权重的意义。接着,详细说明计算权重的步骤,可能包括公式和参数估计方法。最后,给出一个具体的示例,比如使用Python代码实现,并引用相关的资料来支持内容。同时,用户可能对如何选择权重或者如何处理异方差的情况感兴趣,这也是需要提到的部分。要注意使用正确的LaTeX格式,确保数学公式正确显示,并且结构清晰,帮助用户逐步理解。可能还需要考虑用户的实际应用场景,比如在回归分析中如何应用加权最小二乘法,以及权重如何影响结果。需要检查引用的资料,确保引用的准确性和相关性,比如引用[1]、[2]、[3]都提到了加权最小二乘法,可以整合这些信息。最后,生成相关问题,帮助用户进一步学习。整个过程要逻辑连贯,语言简洁,符合用户的需求。</think>### 最小二乘法计算权重的方法 #### 1. 基本概念 最小二乘法通过最小化预测值与真实值的**平方误差和**来估计模型参数。在加权最小二乘法(WLS)中,每个数据点被赋予权重$w_i$,反映其重要性或可靠性。目标函数为: $$ S = \sum_{i=1}^n w_i (y_i - \hat{y}_i)^2 $$ 其中$w_i$是权重,$y_i$为观测值,$\hat{y}_i$为预测值[^1][^3]。 #### 2. 权重的作用 - **异方差处理**:当数据误差方差不同时,权重可设为$w_i = 1/\sigma_i^2$($\sigma_i$为第$i$个观测的方差)[^2]。 - **样本量调整**:若数据点代表不同样本量,权重可设为样本量$n_i$(例如引用[3]中将样本数作为权重)。 #### 3. 计算步骤 1. **定义权重矩阵**:构建对角矩阵$W$,对角线元素为$w_i$。 2. **参数估计**:权重下的参数解为: $$ \beta = (X^T W X)^{-1} X^T W Y $$ 其中$X$为设计矩阵,$Y$为观测向量[^4]。 #### 4. Python示例 以下代码演示加权线性回归,假设权重与样本量相关: ```python import numpy as np from sklearn.linear_model import LinearRegression # 生成数据(X为特征,Y为目标,n为样本量) X = np.array([[1], [2], [3], [4]]) Y = np.array([2, 4, 6, 8]) n = np.array([10, 20, 5, 15]) # 样本量作为权重 # 加权最小二乘法 W = np.diag(n) # 权重矩阵 X_design = np.hstack([np.ones((4,1)), X]) # 添加截距项 beta = np.linalg.inv(X_design.T @ W @ X_design) @ X_design.T @ W @ Y print("截距和斜率:", beta) ``` 输出结果为模型参数估计值,权重大的数据点对结果影响更强[^3]。 #### 5. 权重选择技巧 - **迭代重加权(IRLS)**:通过迭代调整权重解决非线性问题(如逻辑回归)[^2]。 - **残差分析**:根据初始拟合的残差大小动态调整权重,例如$w_i = 1/|\text{残差}_i|$。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值