一、通用篇
“通用篇”讨论的问题适合于大多数Java应用。
1.1 不用new关键词创建类的实例
用new关键词创建类的实例时,构造函数链中的所有构造函数都会被自动调用。但如
果一个对象实现了Cloneable接口,我们可以调用它的clone()方法。clone()方法不会调
用任何类构造函数。
在使用设计模式(Design Pattern)的场合,如果用Factory模式创建对象,则改用
clone()方法创建新的对象实例非常简单。例如,下面是Factory模式的一个典型实现:
public static Credit getNewCredit() {return new Credit();}
改进后的代码使用clone()方法,如下所示:
private static Credit BaseCredit = new Credit();
public static Credit getNewCredit() {
return (Credit) BaseCredit.clone();}
上面的思路对于数组处理同样很有用。
1.2 使用非阻塞I/O
版本较低的JDK不支持非阻塞I/O API。为避免I/O阻塞,一些应用采用了创建大量线
程的办法(在较好的情况下,会使用一个缓冲池)。这种技术可以在许多必须支持并发
I/O流的应用中见到,如Web服务器、报价和拍卖应用等。然而,创建Java线程需要相当
可观的开销。
JDK 1.4引入了非阻塞的I/O库(java.nio)。如果应用要求使用版本较早的JDK,在
这里有一个支持非阻塞I/O的软件包。
1.3 慎用异常
异常对性能不利。抛出异常首先要创建一个新的对象。Throwable接口的构造函数调
用名为fillInStackTrace()的本地(Native)方法,fillInStackTrace()方法检查堆
栈,收集调用跟踪信息。只要有异常被抛出,VM就必须调整调用堆栈,因为在处理过程
中创建了一个新的对象。
异常只能用于错误处理,不应该用来控制程序流程。
1.4 不要重复初始化变量
默认情况下,调用类的构造函数时, Java会把变量初始化成确定的值:所有的对象
被设置成null,整数变量(byte、short、int、long)设置成0,float和double变量设
置成0.0,逻辑值设置成false。当一个类从另一个类派生时,这一点尤其应该注意,因
为用new关键词创建一个对象时,构造函数链中的所有构造函数都会被自动调用。
1.5 尽量指定类的final修饰符
带有final修饰符的类是不可派生的。在Java核心API中,有许多应用final的例子,
例如java.lang.String。为String类指定final防止了人们覆盖length()方法。
另外,如果指定一个类为final,则该类所有的方法都是final。Java编译器会寻找
机会内联(inline)所有的final方法(这和具体的编译器实现有关)。此举能够使性能
平均提高50%。
1.6 尽量使用局部变量
调用方法时传递的参数以及在调用中创建的临时变量都保存在栈(Stack)中,速度
较快。其他变量,如静态变量、实例变量等,都在堆(Heap)中创建,速度较慢。另
外,依赖于具体的编译器/JVM,局部变量还可能得到进一步优化。
1.7 乘法和除法
考虑下面的代码:
for (val = 0; val < 100000; val +=5)
{ alterX = val * 8; myResult = val * 2; }
用移位操作替代乘法操作可以极大地提高性能。下面是修改后的代码:
for (val = 0; val < 100000; val += 5)
{ alterX = val << 3; myResult = val << 1; }
修改后的代码不再做乘以8的操作,而是改用等价的左移3位操作,每左移1位相当于
乘以2。相应地,右移1位操作相当于除以2。值得一提的是,虽然移位操作速度快,但可
能使代码比较难于理解,所以最好加上一些注释。
二、JSP、EJB、JDBC
前面介绍的改善性能技巧适合于大多数Java应用,接下来要讨论的问题适合于使用
JSP、EJB或JDBC的应用。
1. 使用缓冲标记
一些应用服务器加入了面向JSP的缓冲标记功能。例如,BEA的WebLogic Server从6.0版
本开始支持这个功能,Open Symphony工程也同样支持这个功能。JSP缓冲标记既能够缓
冲页面片断,也能够缓冲整个页面。当JSP页面执行时,如果目标片断已经在缓冲之中,
则生成该片断的代码就不用再执行。页面级缓冲捕获对指定URL的请求,并缓冲整个结果
页面。对于购物篮、目录以及门户网站的主页来说,这个功能极其有用。对于这类应
用,页面级缓冲能够保存页面执行的结果,供后继请求使用。
对于代码逻辑复杂的页面,利用缓冲标记提高性能的效果比较明显;反之,效果可能略
逊一筹。
2. 始终通过会话Bean访问实体Bean
直接访问实体Bean不利于性能。当客户程序远程访问实体Bean时,每一个get方法都是一
个远程调用。访问实体Bean的会话Bean是本地的,能够把所有数据组织成一个结构,然
后返回它的值。
用会话Bean封装对实体Bean的访问能够改进事务管理,因为会话Bean只有在到达事务边
界时才会提交。每一个对get方法的直接调用产生一个事务,容器将在每一个实体Bean的
事务之后执行一个“装入-读取”操作。一些时候,使用实体Bean会导致程序性能不佳。
如果实体Bean的唯一用途就是提取和更新数据,改成在会话Bean之内利用JDBC访问数据
库可以得到更好的性能。
3. 选择合适的引用机制
在典型的JSP应用系统中,页头、页脚部分往往被抽取出来,然后根据需要引入页头、页
脚。当前,在JSP页面中引入外部资源的方法主要有两种:include指令,以及include动
作。
include指令:例如
<%@ include file="copyright.html" %>
该指令在编译时引入指定的资源。在编译之前,带有include指令的页面和指定的资源被
合并成一个文件。被引用的外部资源在编译时就确定,比运行时才确定资源更高效。
include动作:例如
<jsp:include page="copyright.jsp" />
该动作引入指定页面执行后生成的结果。由于它在运行时完成,因此对输出结果的控制
更加灵活。但时,只有当被引用的内容频繁地改变时,或者在对主页面的请求没有出现
之前,被引用的页面无法确定时,使用include动作才合算。
4. 在部署描述器中设置只读属性
实体Bean的部署描述器允许把所有get方法设置成“只读”。当某个事务单元的工作只包
含执行读取操作的方法时,设置只读属性有利于提高性能,因为容器不必再执行存储操
作。
5. 缓冲对EJB Home的访问
EJB Home接口通过JNDI名称查找获得。这个操作需要相当可观的开销。JNDI查找最好放
入Servlet的init()方法里面。如果应用中多处频繁地出现EJB访问,最好创建一个
EJBHomeCache类。EJBHomeCache类一般应该作为singleton实现。
6. 为EJB实现本地接口
本地接口是EJB 2.0规范新增的内容,它使得Bean能够避免远程调用的开销。请考虑下面
的代码。
PayBeanHome home = (PayBeanHome)
javax.rmi.PortableRemoteObject.narrow
(ctx.lookup ("PayBeanHome"), PayBeanHome.class);
PayBean bean = (PayBean)
javax.rmi.PortableRemoteObject.narrow
(home.create(), PayBean.class);
第一个语句表示我们要寻找Bean的Home接口。这个查找通过JNDI进行,它是一个RMI调
用。然后,我们定位远程对象,返回代理引用,这也是一个RMI调用。第二个语句示范了
如何创建一个实例,涉及了创建IIOP请求并在网络上传输请求的stub程序,它也是一个
RMI调用。要实现本地接口,我们必须作如下修改:
方法不能再抛出java.rmi.RemoteException异常,包括从RemoteException派生的异常,
比如TransactionRequiredException、TransactionRolledBackException和
NoSuchObjectException。EJB提供了等价的本地异常,如
TransactionRequiredLocalException、TransactionRolledBackLocalException和
NoSuchObjectLocalException。
所有数据和返回值都通过引用的方式传递,而不是传递值。本地接口必须在EJB部署的机
器上使用。简而言之,客户程序和提供服务的组件必须在同一个JVM上运行。如果Bean实
现了本地接口,则其引用不可串行化。
7. 生成主键
在EJB之内生成主键有许多途径,下面分析了几种常见的办法以及它们的特点。利用数据
库内建的标识机制(SQL Server的IDENTITY或Oracle的SEQUENCE)。这种方法的缺点是
EJB可移植性差。由实体Bean自己计算主键值(比如做增量操作)。它的缺点是要求事务
可串行化,而且速度也较慢。
利用NTP之类的时钟服务。这要求有面向特定平台的本地代码,从而把Bean固定到了特定
的OS之上。另外,它还导致了这样一种可能,即在多CPU的服务器上,同一个毫秒之内生
成了两个主键。借鉴Microsoft的思路,在Bean中创建一个GUID。然而,如果不求助于
JNI,Java不能确定网卡的MAC地址;如果使用JNI,则程序就要依赖于特定的OS。
还有其他几种办法,但这些办法同样都有各自的局限。似乎只有一个答案比较理想:结
合运用RMI和JNDI。先通过RMI注册把RMI远程对象绑定到JNDI树。客户程序通过JNDI进行
查找。下面是一个例子:
public class keyGenerator
extends UnicastRemoteObject implements
Remote { private static long KeyValue = System.currentTimeMillis();
public static synchronized long getKey()
throws RemoteException { return KeyValue++; }
8. 及时清除不再需要的会话
为了清除不再活动的会话,许多应用服务器都有默认的会话超时时间,一般为30分钟。
当应用服务器需要保存更多会话时,如果内存容量不足,操作系统会把部分内存数据转
移到磁盘,应用服务器也可能根据“最近最频繁使用”(Most Recently Used)算法把
部分不活跃的会话转储到磁盘,甚至可能抛出“内存不足”异常。在大规模系统中,串
行化会话的代价是很昂贵的。当会话不再需要时,应当及时调用
HttpSession.invalidate()方法清除会话。HttpSession.invalidate()方法通常可以在
应用的退出页面调用。
9. 在JSP页面中关闭无用的会话
对于那些无需跟踪会话状态的页面,关闭自动创建的会话可以节省一些资源。使用如下
page指令:
<%@ page session="false"%>
10. Servlet与内存使用
许多开发者随意地把大量信息保存到用户会话之中。一些时候,保存在会话中的对象没
有及时地被垃圾回收机制回收。从性能上看,典型的症状是用户感到系统周期性地变
慢,却又不能把原因归于任何一个具体的组件。如果监视JVM的堆空间,它的表现是内存
占用不正常地大起大落。解决这类内存问题主要有二种办法。第一种办法是,在所有作
用范围为会话的Bean中实现HttpSessionBindingListener接口。这样,只要实现
valueUnbound()方法,就可以显式地释放Bean使用的资源。
另外一种办法就是尽快地把会话作废。大多数应用服务器都有设置会话作废间隔时间的
选项。另外,也可以用编程的方式调用会话的setMaxInactiveInterval()方法,该方法
用来设定在作废会话之前,Servlet容器允许的客户请求的最大间隔时间,以秒计算。
11. HTTP Keep-Alive
Keep-Alive功能使客户端到服务器端的连接持续有效,当出现对服务器的后继请求时,
Keep-Alive功能避免了建立或者重新建立连接。市场上的大部分Web服务器,包括
iPlanet、IIS和Apache,都支持HTTP Keep-Alive。对于提供静态内容的网站来说,这个
功能通常很有用。但是,对于负担较重的网站来说,这里存在另外一个问题:虽然为客
户保留打开的连接有一定的好处,但它同样影响了性能,因为在处理暂停期间,本来可
以释放的资源仍旧被占用。当Web服务器和应用服务器在同一台机器上运行时,Keep-
Alive功能对资源利用的影响尤其突出。
12. JDBC与Unicode
想必你已经了解一些使用JDBC时提高性能的措施,比如利用连接池、正确地选择存储过
程和直接执行的SQL、从结果集删除多余的列、预先编译SQL语句,等等。除了这些显而
易见的选择之外,另一个提高性能的好选择可能就是把所有的字符数据都保存为Unicode
(代码页13488)。Java以Unicode形式处理所有数据,因此,数据库驱动程序不必再执
行转换过程。但应该记住:如果采用这种方式,数据库会变得更大,因为每个Unicode字
符需要2个字节存储空间。另外,如果有其他非Unicode的程序访问数据库,性能问题仍
旧会出现,因为这时数据库驱动程序仍旧必须执行转换过程。
13. JDBC与I/O
如果应用程序需要访问一个规模很大的数据集,则应当考虑使用块提取方式。默认情况
下,JDBC每次提取32行数据。举例来说,假设我们要遍历一个5000行的记录集,JDBC必
须调用数据库157次才能提取到全部数据。如果把块大小改成512,则调用数据库的次数
将减少到10次。在一些情形下这种技术无效。例如,如果使用可滚动的记录集,或者在
查询中指定了FOR UPDATE,则块操作方式不再有效。
14. 内存数据库
许多应用需要以用户为单位在会话对象中保存相当数量的数据,典型的应用如购物篮和
目录等。由于这类数据可以按照行/列的形式组织,因此,许多应用创建了庞大的Vector
或HashMap。在会话中保存这类数据极大地限制了应用的可伸缩性,因为服务器拥有的内
存至少必须达到每个会话占用的内存数量乘以并发用户最大数量,它不仅使服务器价格
昂贵,而且垃圾收集的时间间隔也可能延长到难以忍受的程度。
一些人把购物篮/目录功能转移到数据库层,在一定程度上提高了可伸缩性。然而,把这
部分功能放到数据库层也存在问题,且问题的根源与大多数关系数据库系统的体系结构
有关。对于关系数据库来说,运行时的重要原则之一是确保所有的写入操作稳定、可
靠,因而,所有的性能问题都与物理上把数据写入磁盘的能力有关。关系数据库力图减
少I/O操作,特别是对于读操作,但实现该目标的主要途径只是执行一套实现缓冲机制的
复杂算法,而这正是数据库层第一号性能瓶颈通常总是CPU的主要原因。
一种替代传统关系数据库的方案是,使用在内存中运行的数据库(In-memory
Database),例如TimesTen。内存数据库的出发点是允许数据临时地写入,但这些数据
不必永久地保存到磁盘上,所有的操作都在内存中进行。这样,内存数据库不需要复杂
的算法来减少I/O操作,而且可以采用比较简单的加锁机制,因而速度很快。
三、图形界面应用
这一篇中介绍的内容适合于图形用户界面的应用(Applet和普通应用),要用到AWT或
Swing。 1. 用JAR压缩类文件
Java档案文件(JAR文件)是根据JavaBean标准压缩的文件,是发布JavaBean组件的主要
方式和推荐方式。JAR档案有助于减少文件体积,缩短下载时间。例如,它有助于Applet
提高启动速度。一个JAR文件可以包含一个或者多个相关的Bean以及支持文件,比如图
形、声音、HTML和其他资源。要在HTML/JSP文件中指定JAR文件,只需在Applet标记中加
入ARCHIVE = "name.jar"声明。
2. 提示Applet装入进程
你是否看到过使用Applet的网站,注意到在应该运行Applet的地方出现了一个占位符?
当Applet的下载时间较长时,会发生什么事情?最大的可能就是用户掉头离去。在这种
情况下,显示一个Applet正在下载的信息无疑有助于鼓励用户继续等待。下面我们来看
看一种具体的实现方法。首先创建一个很小的Applet,该Applet负责在后台下载正式的
Applet:
import java.applet.Applet;
import java.applet.AppletStub;
import java.awt.Label;
import java.awt.Graphics;
import java.awt.GridLayout;
public class PreLoader extends Applet implements Runnable, AppletStub {
String largeAppletName;
Label label;
public void init() {
// 要求装载的正式Applet
largeAppletName = getParameter("applet");// “请稍等”提示信息
label = new Label("请稍等..." + largeAppletName);
add(label);
}
public void run(){
try
{
// 获得待装载Applet的类
Class largeAppletClass = Class.forName(largeAppletName);
// 创建待装载Applet的实例
Applet largeApplet = (Applet)largeAppletClass.newInstance();
// 设置该Applet的Stub程序
largeApplet.setStub(this);
// 取消“请稍等”信息
remove(label);
// 设置布局
setLayout(new GridLayout(1, 0));
add(largeApplet);
// 显示正式的Applet
largeApplet.init();
largeApplet.start();
}
catch (Exception ex)
{
// 显示错误信息
label.setText("不能装入指定的Applet");
}
// 刷新屏幕
validate();
}
public void appletResize(int width, int height)
{
// 把appletResize调用从stub程序传递到Applet
resize(width, height);
}
}
编译后的代码小于2K,下载速度很快。代码中有几个地方值得注意。首先,PreLoader实
现了AppletStub接口。一般地,Applet从调用者判断自己的codebase。在本例中,我们
必须调用setStub()告诉Applet到哪里提取这个信息。另一个值得注意的地方是,
AppletStub接口包含许多和Applet类一样的方法,但appletResize()方法除外。这里我
们把对appletResize()方法的调用传递给了resize()方法。
3. 在画出图形之前预先装入它
ImageObserver接口可用来接收图形装入的提示信息。ImageObserver接口只有一个方法
imageUpdate(),能够用一次repaint()操作在屏幕上画出图形。下面提供了一个例子。
public boolean imageUpdate(Image img, int flags, int x, int y, int w, int h)
{
if ((flags & ALLBITS) !=0 {
repaint();
}
else if (flags & (ERROR |ABORT )) != 0) {
error = true;
// 文件没有找到,考虑显示一个占位符
repaint();
}
return (flags & (ALLBITS | ERROR| ABORT)) == 0;
}
当图形信息可用时,imageUpdate()方法被调用。如果需要进一步更新,该方法返回
true;如果所需信息已经得到,该方法返回false。
4. 覆盖update方法
update()方法的默认动作是清除屏幕,然后调用paint()方法。如果使用默认的update()
方法,频繁使用图形的应用可能出现显示闪烁现象。要避免在paint()调用之前的屏幕清
除操作,只需按照如下方式覆盖update()方法:
public void update(Graphics g) {
paint(g);
}
更理想的方案是:覆盖update(),只重画屏幕上发生变化的区域,如下所示:
public void update(Graphics g) {
g.clipRect(x, y, w, h);
paint(g);
}
5. 延迟重画操作
对于图形用户界面的应用来说,性能低下的主要原因往往可以归结为重画屏幕的效率低
下。当用户改变窗口大小或者滚动一个窗口时,这一点通常可以很明显地观察到。改变
窗口大小或者滚动屏幕之类的操作导致重画屏幕事件大量地、快速地生成,甚至超过了
相关代码的执行速度。对付这个问题最好的办法是忽略所有“迟到”的事件。
建议在这里引入一个数毫秒的时差,即如果我们立即接收到了另一个重画事件,可以停
止处理当前事件转而处理最后一个收到的重画事件;否则,我们继续进行当前的重画过
程。
如果事件要启动一项耗时的工作,分离出一个工作线程是一种较好的处理方式;否则,
一些部件可能被“冻结”,因为每次只能处理一个事件。下面提供了一个事件处理的简
单例子,但经过扩展后它可以用来控制工作线程。
public static void runOnce(String id, final long milliseconds) {
synchronized(e_queue) {
// e_queue: 所有事件的集合
if (!e_queue.containsKey(id)) {
e_queue.put(token, new LastOne());
}
}
final LastOne lastOne = (LastOne) e_queue.get(token);
final long time = System.currentTimeMillis(); // 获得当前时间
lastOne.time = time;
(new Thread() {public void run() {
if (milliseconds > 0) {
try {Thread.sleep(milliseconds);} // 暂停线程
catch (Exception ex) {}
}
synchronized(lastOne.running) { // 等待上一事件结束
if (lastOne.time != time) // 只处理最后一个事件
return;
}
}}).start();
}
private static Hashtable e_queue = new Hashtable(); private static class
LastOne {
public long time=0;
public Object running = new Object();
}
6. 使用双缓冲区
在屏幕之外的缓冲区绘图,完成后立即把整个图形显示出来。由于有两个缓冲区,所以
程序可以来回切换。这样,我们可以用一个低优先级的线程负责画图,使得程序能够利
用空闲的CPU时间执行其他任务。下面的伪代码片断示范了这种技术。
Graphics myGraphics;
Image myOffscreenImage = createImage(size().width, size().height);
Graphics offscreenGraphics = myOffscreenImage.getGraphics();
offscreenGraphics.drawImage(img, 50, 50, this);
myGraphics.drawImage(myOffscreenImage, 0, 0, this);
7. 使用BufferedImage
Java JDK 1.2使用了一个软显示设备,使得文本在不同的平台上看起来相似。为实现这
个功能,Java必须直接处理构成文字的像素。由于这种技术要在内存中大量地进行位复
制操作,早期的JDK在使用这种技术时性能不佳。为解决这个问题而提出的Java标准实现
了一种新的图形类型,即BufferedImage。BufferedImage子类描述的图形带有一个可访
问的图形数据缓冲区。一个BufferedImage包含一个ColorModel和一组光栅图形数据。这
个类一般使用RGB(红、绿、蓝)颜色模型,但也可以处理灰度级图形。它的构造函数很
简单,如下所示:
public BufferedImage (int width, int height, int imageType)
ImageType允许我们指定要缓冲的是什么类型的图形,比如5-位RGB、8-位RGB、灰度级
等。
8. 使用VolatileImage
许多硬件平台和它们的操作系统都提供基本的硬件加速支持。例如,硬件加速一般提供
矩形填充功能,和利用CPU完成同一任务相比,硬件加速的效率更高。由于硬件加速分离
了一部分工作,允许多个工作流并发进行,从而缓解了对CPU和系统总线的压力,使得应
用能够运行得更快。利用VolatileImage可以创建硬件加速的图形以及管理图形的内容。
由于它直接利用低层平台的能力,性能的改善程度主要取决于系统使用的图形适配器。
VolatileImage的内容随时可能丢失,也即它是“不稳定的(volatile)”。因此,在使
用图形之前,最好检查一下它的内容是否丢失。VolatileImage有两个能够检查内容是否
丢失的方法:
public abstract int validate(GraphicsConfiguration gc);public abstract
Boolean contentsLost();
每次从VolatileImage对象复制内容或者写入VolatileImage时,应该调用validate()方
法。contentsLost()方法告诉我们,自从最后一次validate()调用之后,图形的内容是
否丢失。虽然VolatileImage是一个抽象类,但不要从它这里派生子类。VolatileImage
应该通过Component.createVolatileImage()或者
GraphicsConfiguration.createCompatibleVolatileImage()方法创建。
9. 使用Window Blitting
进行滚动操作时,所有可见的内容一般都要重画,从而导致大量不必要的重画工作。许
多操作系统的图形子系统,包括WIN32 GDI、MacOS和X/Windows,都支持Window
Blitting技术。Window Blitting技术直接在屏幕缓冲区中把图形移到新的位置,只重画
新出现的区域。要在Swing应用中使用Window Blitting技术,设置方法如下:
setScrollMode(int mode);
在大多数应用中,使用这种技术能够提高滚动速度。只有在一种情形下,Window
Blitting会导致性能降低,即应用在后台进行滚动操作。如果是用户在滚动一个应用,
那么它总是在前台,无需担心任何负面影响。
JavaTM I/O 性能的多种技术。大多技术围绕调整磁盘文件 I/O,但是有些内容也同样适合网络 I/O 和窗口输出。第一部分技术讨论底层的I/O问题,然后讨论诸如压缩,格式化和串行化等高级I/O问题。然而这个讨论没有包含应用设计问题,例如搜索算法和数据结构,也没有讨论系统级的问题,例如文件高速缓冲。
当我们讨论Java I/O时,值得注意的是Java语言采取两种截然不同的磁盘文件结构。一个是基于字节流,另一个是字符序列。在Java语言中一个字符有两个字节表示,而不是像通常的语言如c语言那样是一个字节。因此,从一个文件读取字符时需要进行转换。这个不同在某些情况下是很重要的,就像下面的几个例子将要展示的那样。
低级 I/O I问题
加速I/O的基本规则
缓冲
读写文本文件
格式化的代价
随机访问
高级I/O问题
压缩
高速缓冲
分解
串行化
获取文件信息
更多信息
加速I/O的基本规则
作为这个讨论的开始,这里有几个如何加速I/O的基本规则:
避免访问磁盘
避免访问底层的操作系统
避免方法调用
避免个别的处理字节和字符
很明显这些规则不能在所有的问题上避免,因为如果能够的话就没有实际的I/O被执行。考虑下面的计算文件中的新行符('/n')的三部分范例。
方法1: 读方法
第一个方法简单的使用FileInputStream的read方法:
import java.io.*;
public class intro1 {
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
FileInputStream fis =
new FileInputStream(args[0]);
int cnt = 0;
int b;
while ((b = fis.read()) != -1) {
if (b == '/n')
cnt++;
}
fis.close();
System.out.println(cnt);
}
catch (IOException e) {
System.err.println(e);
}
}
}
然而这个方法触发了大量的底层运行时系统调用--FileInputStream.read--返回文件的下一个字节的本机方法。
方法 2: 使用大缓冲区
第二种方法使用大缓冲区避免了上面的问题:
import java.io.*;
public class intro2 {
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
FileInputStream fis =
new FileInputStream(args[0]);
BufferedInputStream bis =
new BufferedInputStream(fis);
int cnt = 0;
int b;
while ((b = bis.read()) != -1) {
if (b == '/n')
cnt++;
}
bis.close();
System.out.println(cnt);
}
catch (IOException e) {
System.err.println(e);
}
}
}
BufferedInputStream.read 从输入缓冲区获取下一个字节,仅仅只访问了一次底层系统。
方法 3: 直接缓冲
第三种方法避免使用 BufferedInputStream 而直接缓冲,因此排除了 read 方法的调用:
import java.io.*;
public class intro3 {
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
FileInputStream fis =
new FileInputStream(args[0]);
byte buf[] = new byte[2048];
int cnt = 0;
int n;
while ((n = fis.read(buf)) != -1) {
for (int i = 0; i < n; i++) {
if (buf[i] == '/n')
cnt++;
}
}
fis.close();
System.out.println(cnt);
}
catch (IOException e) {
System.err.println(e);
}
}
}
对于一个1 MB 的输入文件,以秒为单位的执行时间是:
intro1 6.9
intro2 0.9
intro3 0.4
或者说在最慢的方法和最快的方法间是17比1的不同。
这个巨大的加速并不能证明你应该总是使用第三种方法,即自己做缓冲。这可能是一个错误的倾向特别是在处理文件结束事件时没有仔细的实现。在可读性上它也没有其它方法好。但是记住时间花费在哪儿了以及在必要的时候如何矫正是很有用。
方法2 或许是对于大多应用的 "正确" 方法.
缓冲
方法 2 和 3 使用了缓冲技术, 大块文件被从磁盘读取,然后每次访问一个字节或字符。缓冲是一个基本而重要的加速I/O 的技术,而且有几个类支持缓冲(BufferedInputStream 用于字节, BufferedReader 用于字符)。
一个明显得问题是: 缓冲区越大I/O越快吗?典型的Java缓冲区长1024 或者 2048 字节,一个更大的缓冲区有可能加速 I/O但是只能占很小的比重,大约5 到10%。
方法4: 整个文件
缓冲的极端情况是事先决定整个文件的长度,然后读取整个文件:
import java.io.*;
public class readfile {
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
int len = (int)(new File(args[0]).length());
FileInputStream fis =
new FileInputStream(args[0]);
byte buf[] = new byte[len];
fis.read(buf);
fis.close();
int cnt = 0;
for (int i = 0; i < len; i++) {
if (buf[i] == '/n')
cnt++;
}
System.out.println(cnt);
}
catch (IOException e) {
System.err.println(e);
}
}
}
这个方法很方便,在这里文件被当作一个字节数组。但是有一个明显得问题是有可能没有读取一个巨大的文件的足够的内存。
缓冲的另一个方面是向窗口终端的文本输出。缺省情况下, System.out ( 一个PrintStream) 是行缓冲的,这意味着在遇到一个新行符后输出缓冲区被提交。对于交互来说这是很重要的,在那种情况下你可能喜欢在实际的输出前显示一个输入提示。
方法 5: 关闭行缓冲
行缓冲可以被禁止,像下面的例子那样:
import java.io.*;
public class bufout {
public static void main(String args[]) {
FileOutputStream fdout =
new FileOutputStream(FileDescriptor.out);
BufferedOutputStream bos =
new BufferedOutputStream(fdout, 1024);
PrintStream ps =
new PrintStream(bos, false);
System.setOut(ps);
final int N = 100000;
for (int i = 1; i <= N; i++)
System.out.println(i);
ps.close();
}
}
这个程序输出整数1到100000缺省输出,比在缺省的行缓冲情况下快了三倍。
缓冲也是下面将要展示的例子的重要部分,在那里,缓冲区被用于加速文件随机访问。
读写文本文件
早些时候曾提到从文件里面读取字符的方法调用的消耗可能是重大的。这个问题在计算文本文件的行数的另一个例子中也可以找到。:
import java.io.*;
public class line1 {
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
FileInputStream fis =
new FileInputStream(args[0]);
BufferedInputStream bis =
new BufferedInputStream(fis);
DataInputStream dis =
new DataInputStream(bis);
int cnt = 0;
while (dis.readLine() != null)
cnt++;
dis.close();
System.out.println(cnt);
}
catch (IOException e) {
System.err.println(e);
}
}
}
这个程序使用老的DataInputStream.readLine 方法,该方法是使用用读取每个字符的 read 方法实现的。一个新方法是:
import java.io.*;
public class line2 {
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
FileReader fr = new FileReader(args[0]);
BufferedReader br = new BufferedReader(fr);
int cnt = 0;
while (br.readLine() != null)
cnt++;
br.close();
System.out.println(cnt);
}
catch (IOException e) {
System.err.println(e);
}
}
}
这个方法更快。例如在一个有200,000行的 6 MB文本文件上,第二个程序比第一个快大约20%。
但是即使第二个程序不是更快的,第一个程序依然有一个重要的问题要注意。第一个程序在JavaTM 2编译器下引起了不赞成警告,因为DataInputStream.readLine太陈旧了。它不能恰当的将字节转换为字符,因此在操作包含非ASCII字符的文本文件时可能是不合适的选择。(Java语言使用Unicode字符集而不是ASCII)
这就是早些时候提到的字节流和字符流之间的区别。像这样的一个程序:
import java.io.*;
public class conv1 {
public static void main(String args[]) {
try {
FileOutputStream fos =
new FileOutputStream("out1");
PrintStream ps =
new PrintStream(fos);
ps.println("/uffff/u4321/u1234");
ps.close();
}
catch (IOException e) {
System.err.println(e);
}
}
}
向一个文件里面写,但是没有保存实际的Unicode字符输出。Reader/Writer I/O 类是基于字符的,被设计用来解决这个问题。OutputStreamWriter 应用于字节编码的字符。
一个使用PrintWriter写入Unicode字符的程序是这样的:
import java.io.*;
public class conv2 {
public static void main(String args[]) {
try {
FileOutputStream fos =
new FileOutputStream("out2");
OutputStreamWriter osw =
new OutputStreamWriter(fos, "UTF8");
PrintWriter pw =
new PrintWriter(osw);
pw.println("/uffff/u4321/u1234");
pw.close();
}
catch (IOException e) {
System.err.println(e);
}
}
}
这个程序使用UTF8编码,具有ASCII文本是本身而其他字符是两个或三个字节的特性。
格式化的代价
实际上向文件写数据只是输出代价的一部分。另一个可观的代价是数据格式化。考虑一个三部分程序,它像下面这样输出一行:
The square of 5 is 25
方法 1
第一种方法简单的输出一个固定的字符串,了解固有的I/O开销:
public class format1 {
public static void main(String args[]) {
final int COUNT = 25000;
for (int i = 1; i <= COUNT; i++) {
String s = "The square of 5 is 25/n";
System.out.print(s);
}
}
}
方法2
第二种方法使用简单格式"+":
public class format2 {
public static void main(String args[]) {
int n = 5;
final int COUNT = 25000;
for (int i = 1; i <= COUNT; i++) {
String s = "The square of " + n + " is " +
n * n + "/n";
System.out.print(s);
}
}
}
方法 3
第三种方法使用java.text包中的 MessageFormat 类:
import java.text.*;
public class format3 {
public static void main(String args[]) {
MessageFormat fmt =
new MessageFormat("The square of {0} is {1}/n");
Object values[] = new Object[2];
int n = 5;
values[0] = new Integer(n);
values[1] = new Integer(n * n);
final int COUNT = 25000;
for (int i = 1; i <= COUNT; i++) {
String s = fmt.format(values);
System.out.print(s);
}
}
}
这些程序产生同样的输出。运行时间是:
format1 1.3
format2 1.8
format3 7.8
或者说最慢的和最快的大约是6比1。如果格式没有预编译第三种方法将更慢,使用静态的方法代替:
方法 4
MessageFormat.format(String, Object[])
import java.text.*;
public class format4 {
public static void main(String args[]) {
String fmt = "The square of {0} is {1}/n";
Object values[] = new Object[2];
int n = 5;
values[0] = new Integer(n);
values[1] = new Integer(n * n);
final int COUNT = 25000;
for (int i = 1; i <= COUNT; i++) {
String s =
MessageFormat.format(fmt, values);
System.out.print(s);
}
}
}
这比前一个例子多花费1/3的时间。
第三个方法比前两种方法慢很多的事实并不意味着你不应该使用它,而是你要意识到时间上的开销。
在国际化的情况下信息格式化是很重要的,关心这个问题的应用程序通常从一个绑定的资源中读取格式然后使用它。
随机访问
RandomAccessFile 是一个进行随机文件I/O(在字节层次上)的类。这个类提供一个seek方法,和 C/C++中的相似,移动文件指针到任意的位置,然后从那个位置字节可以被读取或写入。
seek方法访问底层的运行时系统因此往往是消耗巨大的。一个更好的代替是在RandomAccessFile上建立你自己的缓冲,并实现一个直接的字节read方法。read方法的参数是字节偏移量(>= 0)。这样的一个例子是:
import java.io.*;
public class ReadRandom {
private static final int DEFAULT_BUFSIZE = 4096;
private RandomAccessFile raf;
private byte inbuf[];
private long startpos = -1;
private long endpos = -1;
private int bufsize;
public ReadRandom(String name)
throws FileNotFoundException {
this(name, DEFAULT_BUFSIZE);
}
public ReadRandom(String name, int b)
throws FileNotFoundException {
raf = new RandomAccessFile(name, "r");
bufsize = b;
inbuf = new byte[bufsize];
}
public int read(long pos) {
if (pos < startpos || pos > endpos) {
long blockstart = (pos / bufsize) * bufsize;
int n;
try {
raf.seek(blockstart);
n = raf.read(inbuf);
}
catch (IOException e) {
return -1;
}
startpos = blockstart;
endpos = blockstart + n - 1;
if (pos < startpos || pos > endpos)
return -1;
}
return inbuf[(int)(pos - startpos)] & 0xffff;
}
public void close() throws IOException {
raf.close();
}
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
ReadRandom rr = new ReadRandom(args[0]);
long pos = 0;
int c;
byte buf[] = new byte[1];
while ((c = rr.read(pos)) != -1) {
pos++;
buf[0] = (byte)c;
System.out.write(buf, 0, 1);
}
rr.close();
}
catch (IOException e) {
System.err.println(e);
}
}
}
这个程序简单的读取字节序列然后输出它们。
如果有访问位置,这个技术是很有用的,文件中的附近字节几乎在同时被读取。例如,如果你在一个排序的文件上实现二分法查找,这个方法可能很有用。如果你在一个巨大的文件上的任意点做随机访问的话就没有太大价值。
压缩
Java提供用于压缩和解压字节流的类,这些类包含在java.util.zip 包里面,这些类也作为 Jar 文件的服务基础 ( Jar 文件是带有附加文件列表的 Zip 文件)。
下面的程序接收一个输入文件并将之写入一个只有一项的压缩的 Zip 文件:
import java.io.*;
import java.util.zip.*;
public class compress {
public static void doit(
String filein,
String fileout
) {
FileInputStream fis = null;
FileOutputStream fos = null;
try {
fis = new FileInputStream(filein);
fos = new FileOutputStream(fileout);
ZipOutputStream zos =
new ZipOutputStream(fos);
ZipEntry ze = new ZipEntry(filein);
zos.putNextEntry(ze);
final int BUFSIZ = 4096;
byte inbuf[] = new byte[BUFSIZ];
int n;
while ((n = fis.read(inbuf)) != -1)
zos.write(inbuf, 0, n);
fis.close();
fis = null;
zos.close();
fos = null;
}
catch (IOException e) {
System.err.println(e);
}
finally {
try {
if (fis != null)
fis.close();
if (fos != null)
fos.close();
}
catch (IOException e) {
}
}
}
public static void main(String args[]) {
if (args.length != 2) {
System.err.println("missing filenames");
System.exit(1);
}
if (args[0].equals(args[1])) {
System.err.println("filenames are identical");
System.exit(1);
}
doit(args[0], args[1]);
}
}
下一个程序执行相反的过程,将一个假设只有一项的Zip文件作为输入然后将之解压到输出文件:
import java.io.*;
import java.util.zip.*;
public class uncompress {
public static void doit(
String filein,
String fileout
) {
FileInputStream fis = null;
FileOutputStream fos = null;
try {
fis = new FileInputStream(filein);
fos = new FileOutputStream(fileout);
ZipInputStream zis = new ZipInputStream(fis);
ZipEntry ze = zis.getNextEntry();
final int BUFSIZ = 4096;
byte inbuf[] = new byte[BUFSIZ];
int n;
while ((n = zis.read(inbuf, 0, BUFSIZ)) != -1)
fos.write(inbuf, 0, n);
zis.close();
fis = null;
fos.close();
fos = null;
}
catch (IOException e) {
System.err.println(e);
}
finally {
try {
if (fis != null)
fis.close();
if (fos != null)
fos.close();
}
catch (IOException e) {
}
}
}
public static void main(String args[]) {
if (args.length != 2) {
System.err.println("missing filenames");
System.exit(1);
}
if (args[0].equals(args[1])) {
System.err.println("filenames are identical");
System.exit(1);
}
doit(args[0], args[1]);
}
}
压缩是提高还是损害I/O性能很大程度依赖你的硬件配置,特别是和处理器和磁盘驱动器的速度相关。使用Zip技术的压缩通常意味着在数据大小上减少50%,但是代价是压缩和解压的时间。一个巨大(5到10 MB)的压缩文本文件,使用带有IDE硬盘驱动器的300-MHz Pentium PC从硬盘上读取可以比不压缩少用大约1/3的时间。
压缩的一个有用的范例是向非常慢的媒介例如软盘写数据。使用高速处理器(300 MHz Pentium)和低速软驱(PC上的普通软驱)的一个测试显示压缩一个巨大的文本文件然后在写入软盘比直接写入软盘快大约50% 。
高速缓存
关于硬件的高速缓存的详细讨论超出了本文的讨论范围。但是在有些情况下软件高速缓存能被用于加速I/O。考虑从一个文本文件里面以随机顺序读取一行的情况,这样做的一个方法是读取所有的行,然后把它们存入一个ArrayList (一个类似Vector的集合类):
import java.io.*;
import java.util.ArrayList;
public class LineCache {
private ArrayList list = new ArrayList();
public LineCache(String fn) throws IOException {
FileReader fr = new FileReader(fn);
BufferedReader br = new BufferedReader(fr);
String ln;
while ((ln = br.readLine()) != null)
list.add(ln);
br.close();
}
public String getLine(int n) {
if (n < 0)
throw new IllegalArgumentException();
return (n < list.size() ?
(String)list.get(n) : null);
}
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
LineCache lc = new LineCache(args[0]);
int i = 0;
String ln;
while ((ln = lc.getLine(i++)) != null)
System.out.println(ln);
}
catch (IOException e) {
System.err.println(e);
}
}
}
getLine 方法被用来获取任意行。这个技术是很有用的,但是很明显对一个大文件使用了太多的内存,因此有局限性。一个代替的方法是简单的记住被请求的行最近的100行,其它的请求直接从磁盘读取。这个安排在局域性的访问时很有用,但是在真正的随机访问时没有太大作用。
分解
分解 是指将字节或字符序列分割为像单词这样的逻辑块的过程。Java 提供StreamTokenizer 类, 像下面这样操作:
import java.io.*;
public class token1 {
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
FileReader fr = new FileReader(args[0]);
BufferedReader br = new BufferedReader(fr);
StreamTokenizer st = new StreamTokenizer(br);
st.resetSyntax();
st.wordChars('a', 'z');
int tok;
while ((tok = st.nextToken()) !=
StreamTokenizer.TT_EOF) {
if (tok == StreamTokenizer.TT_WORD)
;// st.sval has token
}
br.close();
}
catch (IOException e) {
System.err.println(e);
}
}
}
这个例子分解小写单词 (字母a-z)。如果你自己实现同等地功能,它可能像这样:
import java.io.*;
public class token2 {
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
try {
FileReader fr = new FileReader(args[0]);
BufferedReader br = new BufferedReader(fr);
int maxlen = 256;
int currlen = 0;
char wordbuf[] = new char[maxlen];
int c;
do {
c = br.read();
if (c >= 'a' && c <= 'z') {
if (currlen == maxlen) {
maxlen *= 1.5;
char xbuf[] =
new char[maxlen];
System.arraycopy(
wordbuf, 0,
xbuf, 0, currlen);
wordbuf = xbuf;
}
wordbuf[currlen++] = (char)c;
}
else if (currlen > 0) {
String s = new String(wordbuf,
0, currlen);
// do something with s
currlen = 0;
}
} while (c != -1);
br.close();
}
catch (IOException e) {
System.err.println(e);
}
}
}
第二个程序比前一个运行快大约 20%,代价是写一些微妙的底层代码。
StreamTokenizer 是一种混合类,它从字符流(例如 BufferedReader)读取, 但是同时以字节的形式操作,将所有的字符当作双字节(大于 0xff) ,即使它们是字母字符。
串行化
串行化 以标准格式将任意的Java数据结构转换为字节流。例如,下面的程序输出随机整数数组:
import java.io.*;
import java.util.*;
public class serial1 {
public static void main(String args[]) {
ArrayList al = new ArrayList();
Random rn = new Random();
final int N = 100000;
for (int i = 1; i <= N; i++)
al.add(new Integer(rn.nextInt()));
try {
FileOutputStream fos =
new FileOutputStream("test.ser");
BufferedOutputStream bos =
new BufferedOutputStream(fos);
ObjectOutputStream oos =
new ObjectOutputStream(bos);
oos.writeObject(al);
oos.close();
}
catch (Throwable e) {
System.err.println(e);
}
}
}
而下面的程序读回数组:
import java.io.*;
import java.util.*;
public class serial2 {
public static void main(String args[]) {
ArrayList al = null;
try {
FileInputStream fis =
new FileInputStream("test.ser");
BufferedInputStream bis =
new BufferedInputStream(fis);
ObjectInputStream ois =
new ObjectInputStream(bis);
al = (ArrayList)ois.readObject();
ois.close();
}
catch (Throwable e) {
System.err.println(e);
}
}
}
注意我们使用缓冲提高I/O操作的速度。
有比串行化更快的输出大量数据然后读回的方法吗?可能没有,除非在特殊的情况下。例如,假设你决定将文本输出为64位的整数而不是一组8字节。作为文本的长整数的最大长度是大约20个字符,或者说二进制表示的2.5倍长。这种格式看起来不会快。然而,在某些情况下,例如位图,一个特殊的格式可能是一个改进。然而使用你自己的方案而不是串行化的标准方案将使你卷入一些权衡。
除了串行化实际的I/O和格式化开销外(使用DataInputStream和 DataOutputStream), 还有其他的开销,例如在串行化恢复时的创建新对象的需要。
注意DataOutputStream 方法也可以用于开发半自定义数据格式,例如:
import java.io.*;
import java.util.*;
public class binary1 {
public static void main(String args[]) {
try {
FileOutputStream fos =
new FileOutputStream("outdata");
BufferedOutputStream bos =
new BufferedOutputStream(fos);
DataOutputStream dos =
new DataOutputStream(bos);
Random rn = new Random();
final int N = 10;
dos.writeInt(N);
for (int i = 1; i <= N; i++) {
int r = rn.nextInt();
System.out.println(r);
dos.writeInt(r);
}
dos.close();
}
catch (IOException e) {
System.err.println(e);
}
}
}
和:
import java.io.*;
public class binary2 {
public static void main(String args[]) {
try {
FileInputStream fis =
new FileInputStream("outdata");
BufferedInputStream bis =
new BufferedInputStream(fis);
DataInputStream dis =
new DataInputStream(bis);
int N = dis.readInt();
for (int i = 1; i <= N; i++) {
int r = dis.readInt();
System.out.println(r);
}
dis.close();
}
catch (IOException e) {
System.err.println(e);
}
}
}
这些程序将10个整数写入文件然后读回它们。
获取文件信息
迄今为止我们的讨论围绕单一的文件输入输出。但是加速I/O性能还有另一方面--和得到文件特性有关。例如,考虑一个打印文件长度的小程序:
import java.io.*;
public class length1 {
public static void main(String args[]) {
if (args.length != 1) {
System.err.println("missing filename");
System.exit(1);
}
File f = new File(args[0]);
long len = f.length();
System.out.println(len);
}
}
Java运行时系统自身并不知道文件的长度,因此必须向底层的操作系统查询以获得这个信息,对于文件的其他信息这也成立,例如文件是否是一个目录,文件上次修改时间等等。 java.io包中的File 类提供一套查询这些信息的方法。这些方法总体来说在时间上开销很大因此应该尽可能少用。
下面是一个查询文件信息的更长的范例,它递归整个文件系统写出所有的文件路径:
import java.io.*;
public class roots {
public static void visit(File f) {
System.out.println(f);
}
public static void walk(File f) {
visit(f);
if (f.isDirectory()) {
String list[] = f.list();
for (int i = 0; i < list.length; i++)
walk(new File(f, list[i]));
}
}
public static void main(String args[]) {
File list[] = File.listRoots();
for (int i = 0; i < list.length; i++) {
if (list[i].exists())
walk(list[i]);
else
System.err.println("not accessible: "
+ list[i]);
}
}
}
这个范例使用 File 方法,例如 isDirectory 和 exists,穿越目录结构。每个文件都被查询一次它的类型 (普通文件或者目录)。
更多信息
论文:
JDC性能技巧和防火墙隧道技术
讨论了一些提高 Java 应用程序的通用方法。有些对于上面发现的问题,其他一些处理底层的问题。
Don Knuth 的书, 计算机编程艺术, 第三卷,讨论了排序和搜索算法,例如使用B树。
转载于
http://blog.youkuaiyun.com/njchenyi/archive/2005/04/10/341823.aspx
http://blog.youkuaiyun.com/njchenyi/archive/2005/04/06/338622.aspx