学懂IO必备的操作系统知识(二)

Java NIO(IO原理、通道、缓冲区、选择器) 目录IO原理四种IO模型1 、同步阻塞IO Blocking IO2 、同步非阻塞IO Non-blocking IO3 、IO多路复用 IO Multiplexing4 、异步IO Asynchronous IOJava NIO1 、NIO和OIO2 、通道 Channel IO原理 用户IO读写在底层上是调用了read和write系统调用, 但是read和write系统调用并不是直接在内存和物理设备之间交换数据。 就是说,上层程序的IO,并不是物理级别的读写,而是缓存的复制。 read和write系统 阅读详情

系列文章目录

学懂IO必备的操作系统知识(一)
学懂IO必备的操作系统知识(二)
学懂IO必备的TCP、socket知识(三)


该篇文章是依赖于第一篇,直接看可能会有很多疑问,请先查看第一篇。

1、pagecache

上一篇提到了pagecache,这里再补充下。

  • 在计算机中应用第一次加载某个文件,会产生缺页,这个时候需要kernel从磁盘加载数据到pagecache中、
  • 多个应用操作同一个文件数据只会在在pagecach加载一次
  • 每个应用通过fd找到自己的文件指针操作文件
  • 内存管理单元维护线性内存和物理内存的关系
  • 线性内存是逻辑上连续的, 物理内存是不连续的会产生碎片
  • pagecache由内核维护,大小有物理内存决定
  • 当数据page页新建或者修改后没有刷盘,称为脏页,此时直接断电了,会发生丢数据情况,而是根据配置的百分比阈值、时间阈值触发刷盘。
  • pagecache觉有内存淘汰机制;
  • 文件不一定是全量加载到pagecache,需要时加载

在这里插入图片描述

2、on heap &off heap

on heap &off heap
一般情况下,Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的,也称为堆内内存(on-heap memory)。
堆外内存是把内存对象分配在Java虚拟机的堆以外的内存,这些内存直接受操作系统管理而不是虚拟机。

3、ByteBuffer

ByteBuffer
在旧I/O类库中(相对java.nio包)中的BufferedInputStream、BufferedOutputStream、BufferedReader和BufferedWriter在其实现中都运用了缓冲区。java.nio包公开了Buffer API,使得Java程序可以直接控制和运用缓冲区。
在Java NIO中,缓冲区直接为通道(Channel)服务,写入数据到通道或从通道读取数据,都是利用缓冲区来传递数据,达到了对数据的高效处理。在NIO中主要有八种缓冲区类(其中MappedByteBuffer是专门用于内存映射的一种ByteBuffer):
在这里插入图片描述
所有缓冲区都有4个属性:capacity、limit、position、mark:

Capacity	//容量,即可以容纳的最大数据量;在缓冲区创建时被设定并且不能改变
Limit	//表示缓冲区的当前终点,不能对缓冲区超过极限的位置进行读写操作。且极限是可以修改的
Position	//位置,下一个要被读或写的元素的索引,每次读写缓冲区数据时都会改变改值,为下次读写作准备
Mark	//标记,调用mark()来设置mark=position,再调用reset()可以让position恢复到标记的位置

常用到的方法:

limit(), limit(10)//其中读取和设置属性的方法的命名和jQuery中的val(),val(10)类似,一个负责get,一个负责set
clear()//position = 0;limit = capacity;mark = -1;  有点初始化的味道,但是并不影响底层byte数组的内容
reset()//把position设置成mark的值,相当于之前做过一个标记,现在要退回到之前标记的地方
put(byte b)	//相对写,向position的位置写入一个byte,并将postion+1,为下次读写作准备
flip()//limit = position;position = 0;mark = -1;  翻转,就是将一个处于存数据状态的缓冲区变为一个处于准备取数据的状态
get()//相对读,从position位置读取一个byte,并将position+1,为下次读写作准备
get(int index)	//绝对读,读取byteBuffer底层的bytes中下标为index的byte,不改变position

例子:


    @Test
    public  void whatByteBuffer(){

//        ByteBuffer buffer = ByteBuffer.allocate(1024);
        ByteBuffer buffer = ByteBuffer.allocateDirect(1024);


        System.out.println("postition: " + buffer.position());
        System.out.println("limit: " +  buffer.limit());
        System.out.println("capacity: " + buffer.capacity());
        System.out.println("mark: " + buffer);

        buffer.put("123".getBytes());

        System.out.println("-------------put:123......");
        System.out.println("mark: " + buffer);

        buffer.flip();   //读写交替

        System.out.println("-------------flip......");
        System.out.println("mark: " + buffer);

        buffer.get();

        System.out.println("-------------get......");
        System.out.println("mark: " + buffer);

        buffer.compact();

        System.out.println("-------------compact......");
        System.out.println("mark: " + buffer);

        buffer.clear();

        System.out.println("-------------clear......");
        System.out.println("mark: " + buffer);

    }

在这里插入图片描述

java在对数据进行跟更底层的操作时,经常用到ByteBuffer。它提供了两种分配内存的方式:

//在jvm内部分配的,由jvm管理
public static ByteBuffer allocate(int capacity)  
//jvm外,系统级的内存分配,
public static ByteBuffer allocateDirect(int capacity) 

当Java程序接收到外部传来的数据时,首先是被系统内存所获取,然后在由系统内存复制复制到JVM内存中供Java程序使用。所以在另外一种分配方式中,能够省去复制这一步操作,效率上会有所提高。可是系统级内存的分配比起JVM内存的分配要耗时得多,所以并非不论什么时候allocateDirect的操作效率都是最高的。

关系图 :
在这里插入图片描述

2、通道-channel

每个IO Channel和一个文件或者类似于文件的对象相联系,在Linux上,IO Channel可以和打开文件描述符,如Socket, 管道等连接,如此以后就可以像访问文件一样操作IO Channels。

通道表示打开到 IO 设备(例如:文件、套接字)的连接。若需要使用 NIO 系统,需要获取用于连接 IO 设备的通道以及用于容纳数据的缓冲区,然后操作缓冲区,对数据进行处理。Channel相比IO中的Stream更加高效,可以异步双向传输,但是必须和buffer一起使用。
大白话: channel就是个普通的类,只不过包装了跟fd的连接而已,作用相当于铁路,可以来回走,bytebuffer 相当于火车装载数据,在上面跑。

后面会有文章专门讲解nio channel … …

问题:
1、使用epoll 的时候,计算机是怎么知道数据到达的?
答:通过dma中断通知的。
2、当程序通过read()、writ()是否通过应用缓存?
答:当用户进程使用read 和 write 读写Linux的文件时,进程会从用户态进入内核态,通过I/O操作读取文件中的数据。read()和write(),这两个系统调用在用户态都是没有缓存。

深度学习入门书籍和资源 深度学习入门书籍和资源 今天为大家提供一些机器学习和深度学习的入门书籍和资源。秉着贪多嚼不烂的原则,我各自介绍3本机器学习和3本深度学习的书籍(只选最好的),以及NLP和CV各自的经典课程。 机器学习: 1、Christopher Bishop教授的《Pattern Recognition and Machine Learning》 https://book.douban.com/subject/... 阅读详情

相关推荐

2021最新Java后端开发工程师学习路线,千万别错过

计算机基础 在我们学习编程中,常常认为实践是最重要的,而计算机相关的一些基础知识很容易被我们忽视。 如果在实际的开发中对基础知识没有很好的掌握,很容易走很多弯路,遇到问题可能无法定位。 在应用框架的学习时如果感觉吃力,可能非常有必要回过头来再巩固对应的基础知识。 所以学习好相关电商运营理论知识,是成为一个合格后端开发工程师的基石。 如果时间充足,对于基础知识可以看一些教材书籍。 如果想快速了解相关知识,可以在开源社区寻找一些大佬的项目进行充电。推荐以下项目: https://githu...

分享身边生活经验blog 669

Java IO和Java NIO在文件拷贝上的性能差异分析

1.  在JAVA传统的IO系统中,读取磁盘文件数据的过程如下: 以FileInputStream类为例,该类有一个read(byte b[])方法,byte b[]是我们要存储读取到用户空间的缓冲区。参看read(byte b[])方法的源码,可知,它会在内部再调用readBytes(b, 0, b.length)方法,而且readBytes(b, 0, b.length)方法是一个nativ...

weixin_33722405的博客 144

Ubuntu 24.04 下 NoMachine 极速安装与远程桌面配置全攻略

本文详细介绍了在Ubuntu 24.04系统下安装和配置NoMachine远程桌面的完整指南。从系统准备、分步安装到性能调优和常见问题解决,帮助用户快速实现低延迟的远程桌面访问。特别适合开发者和IT管理员在Linux环境下高效部署远程工作环境。

moon9的博客 946

详解java以及操作系统的IO模型

什么是IO? IO就是文件的输入和输出。计算机中处理数据都是要在内存中进行的,而文件又是存储在磁盘上的,所以无论从磁盘读取数据到内存,还是从内存写入数据到磁盘都要进行IO 操作,那么java中的IO模型都有哪些呢?和操作系统中的IO模型又有什么关系呢?

qq_40884264的博客 1104

手把手教你逆向分析某里系bx-ua参数(以225版本为例)

本文详细解析了某里系应用bx-ua参数的逆向工程实战方法,重点拆解其三层加密体系(二进制加密、字符替换和Base64编码)。通过工具链配置和实战案例,帮助开发者掌握逆向分析技巧,适用于合法合规的安全研究和加密技术评估场景。

weixin_33220360的博客 414

Copula函数

Copula是处理统计中随机变量相关性问题的一种方法。本文是对Copula函数的各种定义,Copula函数的思想,Copula函数的性质,Copula函数的类型等理论资料总结

Explore 5万+

java nio中channel和操作系统的关系

在操作系统中对IO设备的控制方式一共有四种,按时间线依次是轮询、中断、DMA、和通道方式 轮询就是进行IO时操作系统一直问控制器数据准备好了没有。 中断就是异步的方式进行了,CPU向设备控制器发送一条IO指令后接着返回继续做原来的工作,而当设备控制器从设备中取出数据放到控制器的寄存器中后便向CPU发送中断信号,CPU在检查完数据后便向控制器发送取走数据的信号,将数据写入内存,但仍是以字节为单位的。...

Talk is cheap,show me the code 1162

QGIS v3.28 高效加载OSM在线地图的三种实用方法

本文详细介绍了在QGIS v3.28中高效加载OSM在线地图的三种实用方法:通过XYZ Tiles直接连接、使用QuickMapServices插件以及配置WMS/WTMS服务。针对每种方法提供了具体操作步骤、常见问题解决方案和性能优化建议,帮助用户根据需求选择最适合的方案,提升GIS工作效率。

weixin_29233333的博客 436

学懂IO必备的操作系统知识(一)

很多非计算机专业的学生学习java编程时,一上来就接触各种IO:BIO、NIO、AIO,同步io、阻塞io,可能直接傻掉了,what‘s the hell! 接下来我们就从操作系统层面一点点的解开IO的面纱,让你一睹真容,其实它就是个普普通通的“人”。

hellothejava的博客 390

从零到一:基于Rocky Linux 9的Kubernetes高可用集群部署实战

本文提供了一份基于Rocky Linux 9操作系统,从零开始部署Kubernetes高可用集群的完整实战指南。详细讲解了包括系统初始化、容器运行时配置、使用kubeadm工具进行集群初始化、节点加入以及Calico网络插件安装在内的核心步骤,并针对国内网络环境提供了镜像加速等优化方案,旨在帮助读者构建一个稳定可靠的生产级K8s环境。

weixin_29197835的博客 143

SRAM compiler中 Number of banks 设置

的值时,需要考虑应用的性能需求、功耗要求和面积限制。设计者应根据具体的应用场景选择合适的bank数量,以优化整体系统性能。bank是一种用于分离存储器访问的设计结构,允许同时对不同的存储区域进行读写操作,从而提高存储器的并发访问性能。选项用于指定 SRAM 存储器的 并发存储区域。在 SRAM 编译器中,

hzmscut的博客 1877

学懂IO必备的TCP、socket知识(三)

系列文章目录 学懂IO必备的操作系统知识(一) 学懂IO必备的操作系统知识(二) 学懂IO必备的操作系统知识(三) 文章目录系列文章目录前言一、socket是什么?二、TCP三次握手?**三次握手**网络io二、使用步骤1.引入库2.读入数据总结 前言 io分为磁盘io和网络io,前两篇文章,基本讲的是磁盘io的知识,接下来将进入网络io的讲解。想深入了解网络io,就需要它整个数据流程及涉及的协议等。网络io分服务端和客服端,服务端通过创建一个serverSocket得到一个fd,再通过fd bind绑

hellothejava的博客 746

某招标公告网和vcaptcha验证码识别逆向

本文分析了某验证码系统的加密流程及破解思路。首先通过反混淆技术定位到加密函数,拆解了包含指纹函数、环境参数等组成的加密字符串。研究发现验证码生成涉及canvas指纹、环境检测等反爬机制,可通过模拟浏览器环境绕过。验证过程需要解密图片顺序,通过work2.js计算还原图片位置,再结合滑动轨迹、时间等参数生成验证请求。文章仅提供技术研究思路,强调需遵守法律法规,严禁非法破解信息系统。完整流程包括环境模拟、加密参数还原、图片处理和轨迹生成等步骤,成功率较高。

码王吴彦祖的博客 585

java基础-IO流篇

1、什么是IO流? I:Input 译:读 O:Output 译:写 通过IO可以完成硬盘文件的读和写。 2、IO流的分类: 有多重分类方式: 一种是按照流的方向进行分类: 以内存作为参照物: 往内存中去,叫做输入流(Input),或者叫做读(Reader)。 从内存中出来,叫做输出流(Output),或者叫做写(Writer)。 另一种方式是按照读取数据方式不同进行分类: 有的流是按照字节的方式读取数据,一次读取1个字节(1byte),等同于一次读取8个二进制位。

m0_46495219的博客 288

【原创教程】西门子1500与施耐德伺服的通讯以及调试

该函数块主要描述伺服的手动,左边的引脚Forward是指伺服手动正转,Backward是指伺服手动反转,Fast是指手动的某个方向为快速运行,TipPos手册上描述为固定值,WaitTIme是指伺服手动的相应时间,VeloSlow指伺服手动正常慢速运动的速度,VeloFast指伺服手动快速运动的速度,Acceleration是指伺服手动的加速度,Decelertion是指伺服手动的减速度。该函数块用于伺服停止,左边的引脚Execute为伺服停止执行,Deceleration含义为减速,Axis为轴。

Qinmingyue13的博客 1377

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

2024Android面试笔试总结,不了解这些多线程的基础知识很难学懂Android

*Android精讲视频学习后更加是如虎添翼!**进军BATJ大厂等(备战)!现在都说互联网寒冬,其实无非就是你上错了车,且穿的少(技能),要是你上对车,自身技术能力够强,公司换掉的代价大,怎么可能会被裁掉,都是淘汰末端的业务Curd而已!现如今市场上初级程序员泛滥,这套教程针对Android开发工程师1-6年的人员、正处于瓶颈期,想要年后突破自己涨薪的,进阶Android中高级、架构师对你更是如鱼得水!

2401_84411939的博客 1026

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

硬核!阿里出品 2023 版 Java 并发编程全优笔记,涵盖多线程所有核心知识

说到并发编程,很多人第一反应都是:难!难是肯定的,因为并发编程涉及到的知识面太广,你想要学懂并发编程,需要提前储备大量的底层知识,这样学习过程中理解起来才不会那么困难;才能在面试跟工作中轻松应对各种各样的并发场景问题。

xxxzzzqqq_的博客 323

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Linux系统编程24:核心知识+面试+工业级选型全攻略

本文是Linux系统编程系列课程的总结篇,系统梳理了24篇课程构建的完整知识体系。全文分为四个部分:1)对文件IO、进程管理、IPC、线程并发、网络编程、高性能IO架构、工程化落地七大模块的核心知识点进行系统复盘;2)分级汇总高频面试考点,涵盖基础、进阶和深度拔高三个难度层级;3)提供工业级开发选型指南,包括IPC方案速查表、IO模型选型原则和同步互斥方案建议;4)给出后续学习路线建议,针对不同发展方向推荐深入领域。

x1649545783的博客 476

程序员必备,快速学习Python的全套14张思维导图

本文主要涵盖了 Python 编程的核心知识(暂不包括标准库及第三方库)。 首先,按顺序依次展示了以下内容的一系列思维导图:基础知识,数据类型(数字,字符串,列表,元组,字典,集合),条件&循环,文件对象,错误&异常,函数,模块,面向对象编程; 接着,结合这些思维导图主要参考的资料,分享一下我的学习体验,一方面可供初学者参考,另一方面,也便于大家结合思维导图深入学习、理解、思考...

578

零基础如何去学习Java

因为每个院校的讲课方式以及内容都大不相同,还有部分是想自学的。很多人在刚开始学习java的时候很迷茫,不知道从哪里开始学习,有些人会买很多书去看从零基础看到高级,部分人选择去找视频教程。个人建议有条件的首先找个老师,因为你在学习的时候会碰到很多问题,这些问题很有可能会让你放弃学习java,当你有放弃的想法时候,你就危险了!这篇博客,首先是教大家从哪里开始学习java,在告诉大家如何坚持学下去。 ...

qq_39116776的博客 222

阿里并发编程全优笔记:Java程序员面试突击必备!

现在Java面试,问的是越来越底层。基本上规模大点的互联网公司都会对JVM,OS,算法,线程,IO等底层知识进行深入考察;其中粉丝反馈近期出去面试被问的最多,频次最高的技术栈当属多线程并发编程了。

weixin_50205273的博客 259

Android工程师所必经的三个阶段,你到哪个阶段了?,Android架构师必备技术

一、基础技能: 深入Java泛型 注解深入浅出 并发编程 数据传输与序列化 Java虚拟机原理 反射与类加载 高效IO [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iafeABvy-1609919043732)(//upload-images.jianshu.io/upload_images/16595031-b88a34d4295fe6e8?imageMogr2/auto-orient/strip|imageView2/2/w/963/fo

m0_65145685的博客 315

2021最新Java后端开发工程师学习路线,千万别错过~

作者:幻好 开发者学习路线汇总请点击: 恒生LIGHT云社区 ...

weixin_44433834的博客 234

“你们程序员不就是修电脑的吗,你牛什么牛,看懂这份Android面经大厂真不是问题

总的来说,一名工程师都会经历上面的三个阶段,我们不能去扭转什么,我们唯一能做的,通过学习缩短这个周期,让每个阶段提前,这样才可以让自己有更多的精力和时间投入到技术当中去。最后的最后,给大家在做些分享,希望能帮助到正在处于第二、三阶段的朋友们。我自己之前在技术瓶颈阶段,报名过享学课堂的课程,让我在短时间来成功跳槽阿里P7。再征得官方的同意下,给大家个福利,也算是给他们做个宣传,分享一些他们内部的进阶学习路线及文档学习资料给大家!架构师筑基必备技能。

m0_60721860的博客 1061

阿里Java并发编程全优笔记:程序员突击必备!

 现在Java面试,问的是越来越底层。基本上规模大点的互联网公司都会对JVM,OS,算法,线程,IO等底层知识进行深入考察;其中粉丝反馈近期出去面试被问的最多,频次最高的技术栈当属多线程并发编程了。

weixin_50205273的博客 224
上一篇: IO多路复用的本质(select、poll、epoll)
下一篇: rocketmq-安装篇(一)
you_are_the_one
博客等级 码龄15年 50粉丝 25原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值