java.nio NIO原理和使用

本文介绍 Java NIO 的基本原理及其在 I/O 读写中的应用优势,对比传统的阻塞式 I/O 操作,Java NIO 采用 Reactor 模式实现非阻塞 I/O,有效提升系统性能。

Java NIO非堵塞应用通常适用用在I/O读写等方面,我们知道,系统运行的性能瓶颈通常在I/O读写,包括对端口和文件的操作上,过去,在打开一个I/O通道后,read()将一直等待在端口一边读取字节内容,如果没有内容进来,read()也是傻傻的等,这会影响我们程序继续做其他事情,那么改进做法就是开设线程,让线程去等待,但是这样做也是相当耗费资源的。

Java NIO非堵塞技术实际是采取Reactor模式,或者说是Observer模式为我们监察I/O端口,如果有内容进来,会自动通知我们,这样,我们就不必开启多个线程死等,从外界看,实现了流畅的I/O读写,不堵塞了。

Java NIO出现不只是一个技术性能的提高,你会发现网络上到处在介绍它,因为它具有里程碑意义,从JDK1.4开始,Java开始提高性能相关的功能,从而使得Java在底层或者并行分布式计算等操作上已经可以和C或Perl等语言并驾齐驱。

如果你至今还是在怀疑Java的性能,说明你的思想和观念已经完全落伍了,Java一两年就应该用新的名词来定义。从JDK1.5开始又要提供关于线程、并发等新性能的支持,Java应用在游戏等适时领域方面的机会已经成熟,Java在稳定自己中间件地位后,开始蚕食传统C的领域。

本文主要简单介绍NIO的基本原理,在下一篇文章中,将结合Reactor模式和著名线程大师Doug Lea的一篇文章深入讨论。

NIO主要原理和适用。

NIO 有一个主要的类Selector,这个类似一个观察者,只要我们把需要探知的socketchannel告诉Selector,我们接着做别的事情,当有事件发生时,他会通知我们,传回一组SelectionKey,我们读取这些Key,就会获得我们刚刚注册过的socketchannel,然后,我们从这个Channel中读取数据,放心,包准能够读到,接着我们可以处理这些数据。

Selector内部原理实际是在做一个对所注册的channel的轮询访问,不断的轮询(目前就这一个算法),一旦轮询到一个channel有所注册的事情发生,比如数据来了,他就会站起来报告,交出一把钥匙,让我们通过这把钥匙来读取这个channel的内容。

了解了这个基本原理,我们结合代码看看使用,在使用上,也在分两个方向,一个是线程处理,一个是用非线程,后者比较简单,看下面代码:

package test.java.nio;

import java.io.IOException;
import java.net.InetAddress;
import java.net.InetSocketAddress;
import java.net.ServerSocket;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Set;

public class MultiPortEcho {

	private int ports[];
	private ByteBuffer echoBuffer = ByteBuffer.allocate(1024);

	public MultiPortEcho(int ports[]) throws IOException {
		this.ports = ports;

		go();
	}

	private void go() throws IOException {
		// 创建一个选择器,需要探知的socketchannel都注册给它
		Selector selector = Selector.open();

		// Open a listener on each port, and register each one
		// with the selector
		////建立Channel 并绑定到9000端口
		for (int i = 0; i < ports.length; ++i) {
			ServerSocketChannel ssc = ServerSocketChannel.open();
			//使设定non-blocking的方式。
			ssc.configureBlocking(false);
			ServerSocket ss = ssc.socket();
			//InetSocketAddress address = new InetSocketAddress(ports[i]);
			InetSocketAddress address = new InetSocketAddress(InetAddress.getLocalHost(),9000);
			ss.bind(address);

			//向Selector注册Channel及我们有兴趣的事件
			SelectionKey key = ssc.register(selector, SelectionKey.OP_ACCEPT);

			System.out.println("Going to listen on " + ports[i]);
		}

		while (true) {//不断的轮询
			//Selector通过select方法通知我们我们感兴趣的事件发生了
			int num = selector.select();

			Set selectedKeys = selector.selectedKeys();
			Iterator it = selectedKeys.iterator();

			while (it.hasNext()) {//如果有我们注册的事情发生了,它的传回值就会大于0
				SelectionKey key = (SelectionKey) it.next();
				//对 SelectionKey 调用 readyOps() 方法,并检查发生了什么类型的事件
				if ((key.readyOps() & SelectionKey.OP_ACCEPT) == SelectionKey.OP_ACCEPT) {
					// Accept the new connection
					//我们从这些key中的channel()方法中取得我们刚刚注册的channel
					ServerSocketChannel ssc = (ServerSocketChannel) key.channel();
					SocketChannel sc = ssc.accept();
					

					// Add the new connection to the selector
					//将获得新连接的 SocketChannel 配置为非阻塞的。而且由于接受这个连接的目的是为了读取来自套接字的数据,所以我们还必须将 SocketChannel 注册到 Selector
					sc.configureBlocking(false);
					SelectionKey newKey = sc.register(selector,SelectionKey.OP_READ);//注意我们使用 register() 的 OP_READ 参数,将 SocketChannel 注册用于 读取 而不是 接受 新连接
					//在处理 SelectionKey 之后,我们几乎可以返回主循环了。但是我们必须首先将处理过的 SelectionKey 从选定的键集合中删除。
					//如果我们没有删除处理过的键,那么它仍然会在主集合中以一个激活的键出现,这会导致我们尝试再次处理它。
					//我们调用迭代器的 remove() 方法来删除处理过的 SelectionKey
					it.remove();

					System.out.println("Got connection from " + sc);
				} else if ((key.readyOps() & SelectionKey.OP_READ) == SelectionKey.OP_READ) {
					// Read the data
					SocketChannel sc = (SocketChannel) key.channel();

					// Echo data
					int bytesEchoed = 0;
					while (true) {
						echoBuffer.clear();

						int r = sc.read(echoBuffer);

						if (r <= 0) {
							break;
						}

						echoBuffer.flip();

						sc.write(echoBuffer);
						bytesEchoed += r;
					}

					System.out.println("Echoed " + bytesEchoed + " from " + sc);

					it.remove();
				}

			}

			// System.out.println( "going to clear" );
			// selectedKeys.clear();
			// System.out.println( "cleared" );
		}
	}

	static public void main(String args[]) throws Exception {
		if (args.length <= 0) {
			System.err
					.println("Usage: java MultiPortEcho port [port port ...]");
			System.exit(1);
		}

		int ports[] = new int[args.length];

		for (int i = 0; i < args.length; ++i) {
			ports[i] = Integer.parseInt(args[i]);
		}

		new MultiPortEcho(ports);
	}
}

这是一个守候在端口9000的noblock server例子,如果我们编制一个客户端程序,就可以对它进行互动操作,或者使用telnet 主机名 90000 可以链接上。

通过仔细阅读这个例程,相信你已经大致了解NIO的原理和使用方法,下一篇,我们将使用多线程来处理这些数据,再搭建一个自己的Reactor模式。

参考自http://www.jdon.com/concurrent/nio%D4%AD%C0%ED%D3%A6%D3%C3.htm
<think> 我们遇到的问题是将一个`DirectShortBufferU`对象强制转换为`ByteBuffer`时出现了类型转换异常。根据错误信息,这两个类都在`java.base`模块中,但属于不同的类型,因此不能直接转换。 ### 错误原因分析 1. **类型不匹配**:`DirectShortBufferU`是`ShortBuffer`的一种(直接内存分配的短整型缓冲区),而`ByteBuffer`是字节缓冲区。它们虽然都是缓冲区,但存储的数据类型不同(`short` vs `byte`),因此不能直接强制转换。 2. **常见场景**:这种错误通常发生在试图将其他类型的缓冲区(如`ShortBuffer`、`IntBuffer`等)当作`ByteBuffer`使用时,尤其是在使用Java NIO进行音视频处理、网络通信或文件I/O时。 ### 解决方案 #### 方法1: 使用`asByteBuffer()`方法转换 如果原始数据是`short`类型,但需要以字节形式处理,可以先将`ShortBuffer`转换为`ByteBuffer`: ```java ShortBuffer shortBuffer = ...; // 你的ShortBuffer对象 ByteBuffer byteBuffer = ByteBuffer.allocate(shortBuffer.remaining() * 2); // 每个short占2个字节 byteBuffer.asShortBuffer().put(shortBuffer); byteBuffer.flip(); // 准备读取 ``` #### 方法2: 重新设计数据流 确保在数据处理的整个链路上使用统一的缓冲区类型: ```java // 错误示例:将ShortBuffer强制转换为ByteBuffer ShortBuffer shortBuf = ...; ByteBuffer byteBuf = (ByteBuffer) shortBuf; // 这里会抛出ClassCastException // 正确做法:创建新的ByteBuffer并放入数据 ByteBuffer byteBuf = ByteBuffer.allocate(shortBuf.remaining() * 2); for (int i = 0; shortBuf.hasRemaining(); i++) { short s = shortBuf.get(); byteBuf.putShort(s); // 将每个short拆分为两个byte } byteBuf.flip(); // 翻转以便读取 ``` #### 方法3: 使用`ByteBuffer.wrap()`封装数组 如果数据量不大,可以先将`ShortBuffer`转为`short[]`数组,再封装为`ByteBuffer`: ```java ShortBuffer shortBuffer = ...; short[] shortArray = new short[shortBuffer.remaining()]; shortBuffer.get(shortArray); ByteBuffer byteBuffer = ByteBuffer.wrap( new byte[shortArray.length * 2] // 预先分配字节空间 ); for (short s : shortArray) { byteBuffer.putShort(s); // 按顺序写入 } byteBuffer.flip(); ``` ### 原理说明 - **数据存储差异**: - `ByteBuffer`:存储单元为1字节(8位) - `ShortBuffer`:存储单元为2字节(16位) - **转换必要性**: 当需要将多字节数据类型(如short)写入字节流(如网络传输或文件存储)时,必须将每个`short`拆分为两个`byte`,遵循大端序或小端序。 ### 字节序处理 在转换过程中要注意字节序(Endianness): ```java byteBuffer.order(ByteOrder.BIG_ENDIAN); // 默认大端序 // 或 byteBuffer.order(ByteOrder.LITTLE_ENDIAN); // 小端序 ``` ### 案例:音频处理中的转换 在音频编程中,经常需要将16位音频数据(每个样本占2字节)转换为字节数组: ```java // 假设audioData是包含音频样本的short数组 short[] audioData = ...; ByteBuffer byteBuf = ByteBuffer.allocate(audioData.length * 2); byteBuf.order(ByteOrder.LITTLE_ENDIAN); // 音频常用小端序 for (short sample : audioData) { byteBuf.putShort(sample); } byteBuf.flip(); ``` ### 相关问题 1. 如何将`IntBuffer`转换为`ByteBuffer`? 2. `ByteBuffer`的大小端设置对数据存储有什么影响? 3.NIO编程中如何高效处理不同类型缓冲区的转换? 4. 直接缓冲区(`DirectBuffer`)非直接缓冲区的性能差异是什么? [^1]: Java版本兼容性问题可能导致方法签名变化 [^2]: `ByteBuffer`是NIO中处理二进制数据的基础类 [^3]: 第三方库的版本升级可能修复了底层兼容性问题 [^4]: 正确理解缓冲区状态(position, limit, capacity)对数据处理至关重要 </think>### 解决 `class java.nio.DirectShortBufferU cannot be cast to class java.nio.ByteBuffer` 错误的方法 #### 错误原因分析 该错误发生在试图将 `ShortBuffer` 类型(具体实现为 `DirectShortBufferU`)强制转换为 `ByteBuffer` 时。两者虽然都是 `java.nio.Buffer` 的子类,但属于不同的数据类型容器: - `ByteBuffer`:存储字节数据(8位) - `ShortBuffer`:存储短整型数据(16位) - 强制转换违反了 Java 类型系统规则,因为它们是不同的缓冲区类型[^2][^4] #### 解决方案(代码示例) ##### 方法1:显式创建目标类型的缓冲区(推荐) ```java // 原始代码(错误) ShortBuffer shortBuffer = ShortBuffer.allocate(1024); ByteBuffer byteBuffer = (ByteBuffer) shortBuffer; // 抛出ClassCastException // 修正方案 ShortBuffer shortBuffer = ShortBuffer.allocate(1024); ByteBuffer byteBuffer = ByteBuffer.allocate(shortBuffer.capacity() * 2); // 容量换算:每个short=2字节 // 数据迁移 shortBuffer.flip(); while (shortBuffer.hasRemaining()) { short s = shortBuffer.get(); byteBuffer.putShort(s); // 按字节写入 } byteBuffer.flip(); // 准备读取 ``` ##### 方法2:使用视图缓冲区(高效转换) ```java ShortBuffer shortBuffer = ShortBuffer.allocate(1024); ByteBuffer byteBuffer = ByteBuffer.allocateDirect(shortBuffer.capacity() * 2); // 建立视图映射 ByteBuffer byteView = byteBuffer.asReadOnlyBuffer(); ShortBuffer shortView = byteView.asShortBuffer(); // 数据交互 shortBuffer.put(new short[]{1, 2, 3}); // 操作原始ShortBuffer shortBuffer.flip(); shortView.put(shortBuffer); // 通过视图写入ByteBuffer ``` ##### 方法3:使用第三方库统一处理(如Guava) ```java import com.google.common.io.ByteStreams; ShortBuffer shortBuffer = ShortBuffer.allocate(1024); shortBuffer.put(new short[]{1, 2, 3}); shortBuffer.flip(); // 转换为字节数组 byte[] bytes = new byte[shortBuffer.remaining() * 2]; ByteBuffer.wrap(bytes).asShortBuffer().put(shortBuffer); // 再包装为ByteBuffer ByteBuffer byteBuffer = ByteBuffer.wrap(bytes); ``` #### 核心原理 - **类型安全**:Java 禁止直接转换不同类型缓冲区 - **内存结构差异**: - `ByteBuffer` 内存布局:`[byte1][byte2][byte3]...` - `ShortBuffer` 内存布局:`[short1(2字节)][short2(2字节)]...` - **转换公式**: 对于包含 $n$ 个元素的 `ShortBuffer`,所需 `ByteBuffer` 容量为: $$ \text{capacity}_{\text{byte}} = n \times 2 $$ #### 最佳实践 1. **始终显式创建目标类型缓冲区** 2. **使用视图转换代替强制转换**: ```java // 安全转换方向 ByteBuffer -> 通过 .asShortBuffer() 获得 ShortBuffer 视图 // 反向转换需要数据复制 ``` 3. **统一使用ByteBuffer作为基础容器**: ```java ByteBuffer baseBuffer = ByteBuffer.allocateDirect(1024); ShortBuffer shortView = baseBuffer.asShortBuffer(); // 安全访问 ``` #### 常见错误场景修复 **场景:Canal 1.1.6 兼容性问题 (引用[3])** 升级到 1.1.7+ 版本或修改源码: ```diff // 原始错误代码 - ShortBuffer buffer = (ShortBuffer) byteBuffer; // 修正为 + ShortBuffer buffer = byteBuffer.asShortBuffer(); ``` [^1]: JDK版本差异可能导致ByteBuffer方法签名变化 [^2]: ByteBuffer与其他类型缓冲区的转换需要显式处理 [^3]: 第三方库版本升级可修复类型转换兼容性问题 [^4]: 理解缓冲区状态管理(position/limit/capacity)是正确操作的前提 --- ### 相关问题 1. 如何正确地将 `IntBuffer` 转换为 `ByteBuffer`? 2. `DirectBuffer` 普通缓冲区在性能上有何差异? 3. 为什么 `asShortBuffer()` 可以安全转换而强制转换会失败? 4.NIO编程中如何处理不同字节序(Endianness)的转换?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值