小梳理一下iSCSI底层

本文介绍了iSCSI如何利用TCP/IP协议进行SCSI指令和数据的传输。iSCSI作为应用层协议,监听3326端口,充当SCSI协议与TCP/IP之间的代理。在iSCSI Initiator和Target之间,Initiator负责发起连接,Target接收并处理指令。通过iSCSI Login建立连接后,Initiator通过发送SCSI Report Lun和Inquiry Lun指令获取并注册Lun信息。FCP在FC网络中起到类似作用,但通常集成在FC适配卡驱动中。



iSCSI既然要利用TCPIP来传输SCSI协议指令和数据,那么就必须将自己作为调用TCPIP这个传输管道的一个应用来看待。大家都知道,浏览器中输入http://1.1.1.1或者“hhtp:/1.1.1.1:80”,就表示让浏览器对IP地址位1.1.1.1的这台服务器上的TCPIP传输管道的80号端口发起http请求,也就是浏览网页,同样,如果是telnet这个应用,那就要连接对方的23端口。所谓“端口”,就是被TCPIP协议用来区分每个从管道中传出去或者收进来的数据包,到底是哪个上层应用的,哪个应用在“监听”某个端口,那么TCPIP就将对应的数据包(数据包中含有端口号信息)发送到这个应用对应的缓冲区,正因为TCPIP是个公用传输通道,谁都可以利用它来可靠传输数据到网络另一端,所以才会用“端口号”来区分不同的发起数据传输的应用。

同样,iSCSI也要监听3326这个端口号。SCSI指令和数据,作为“客人”,需要被TCPIP这架“飞机”运载到目的地,SCSI本身并不关心也不想去关心诸如从哪个登机口(端口号)登机、行李托运、安检、海关交涉等一系列问题,于是需要有一个代理或者说引导者来完成这些动作,这个角色就是iSCSI InitiatoriSCSI Target

早期的SCSI协议体系其实从物理层到应用层都有定义的,网络层也有定义,比如一条总线最大16个节点,每个节点有Target模式和Initiator模式。但是后期SCSI体系的下四层被其他协议取代,iSCSI+TCPIP+以太网相当于取代了下四层,所以SCSI上三层不需要自己去发现网络里的节点和Target了,这些都由iSCSI这个代理去完成。

首先iSCSI Target端运行在存储系统一侧或者说想要把自己的磁盘空间让别人访问的那一侧,其作用是接收iSCSI Initiator端传输过来的SCSI协议指令和数据,并将这些指令和数据转交给自己这一侧的SCSI协议栈(其实是Class Driver或者SCSI Middle Layer)处理;iSCSI Initiator端运行在想要获得存储空间,也就是主机一侧,其目的是向iSCSI Target端发起连接,并传输SCSI指令和数据。在iSCSI Initiator端程序中需要配置所需要连接的iSCSI Target端的IP地址(或者使用一种叫做iSNS的服务来动态自动无需手工配置来发现iSCSI Target),iSCSI Initiator会主动向这些IP地址的3326端口号发起iSCSI Login过程(注意这个动作不是SCSI协议定义的,完全是iSCSI这个代理程序自己定义和发起的动作),Login过程所交互的细节此处不做细表,iSCSI Target端响应Login之后,双方在iSCSI层就连通了。iSCSI连通之后,Initiator会主动向Target发起一个SCSI Report Lun指令,Target变向Initiator报告所有的Lun信息,拿到Lun列表之后,Initiator端主动发起SCSI Inquery Lun指令查询每个Lun的属性,比如设备类型(磁盘?磁带?光驱?打印机?等等)和厂商之类,然后Initiator端便向OS内核注册这些Lun。(这里要注意一下,这两条SCSI指令是Initiator写死的,不需要经过其上层的SCSI层)。 OS内核便针对每个Lun加载其各自的驱动(Windows下就是Class DriverLinux下就是Block Driver/Tape Driver等),便在对应的/dev/下生成各自的设备。所以,iSCSI Initiator其实是一个虚拟的Port Driver,其通过调用TCPIPTCPIP再继续调用底层网卡Port Driver实现数据发送。                          



FC也是一个网络,也是替代了传统SCSI协议栈的下四层,FC也不是为了专门承载SCSI协议才被发明的,那么利用FC网络发送SCSI协议的那个应用程序或者说角色是什么?就是俗称“FCP”的一个协议,相当于FC体系下的一个应用,也就类似TCPIP体系下的FTPTelnet等一样。FTP要发起连接传文件,首先要向对方的TCP端口号21发起连接,同样,利用FC传输SCSI指令的FCP,同样也需要向对方FC Target端某个特定端口号发起连接,FC Target端的某个程序正在监听这个端口的一切动作。那为何主机端不需要安装FCP Initiator程序呢?其实FCPInitiator程序就是集成在了FC适配卡的驱动里了,因为FCHBA卡目前来讲专门给存储用,所以直接集成到驱动里,不需要额外安装,而以太网则不同,厂商不可能自带iSCSI Initiator或者Target程序,所以一般都是独立开发独立安装。另外,FC协议也像TCPIP协议一样有类似“端口号”的概念,只不过没有像TCPIP这样被广为人知罢了,所以用FC承载任何上层应用都是可以的,当然,需要你自己去开发了。同样,SAS网络里也是这样一套运作流程,利用SAS网络承载SCSI协议,需要SSP发起端和目标端,同样,也被集成到了驱动里。



iSCSI协议及实现 iSCSI协议简介 涉及到的SCSI的概念 启动设备和目标设备 启动设备(initiator):发起I/O请求的设备 目标设备(target):响应请求执行实际I/O操作的设备 在启动设备和目标设备建立连接后,目标设备在操作中作为主设备控制整个工作过程 一般情况下主机适配器HBA作为启动设备,磁盘/磁带作为目标设备 涉及到的SCSI的概念 CDB:命令描述块。SCSI的命令及参数是填充在一定长度的数据块内传输的 典型的SCSI系统 SCSI的缺点 SCSI是点对点的、直接相连的计算机到存储器的设备接口,不适用于主机到存储器的存储网络通讯 SCSI总线的长度被限制在25米以内,对于Ultra SCSI长度限制为12米,不适于构造各种网络拓扑结构 SCSI总线上设备数限制为15,不适用于多服务器对多存储设备的网络结构 iSCSI的概念 iSCSI是关于SCSI的命令 、数据和状态到TCP/IP 网络的映射的 协议 对TCP层的改造和增加较 低功能层(对TCP层透明) 是为了适应大批量存储数 据传输的需要 iSCSI协议现状 IETF正在制定iSCSI协议标准,最新草案是draft-ietf-ips-iSCSI-06 IETF:http://www.ietf.org/ IPS工作组:http://www.ece.cmu.edu/~ips/ iSCSI产品 Cisco SN 5420 Storage Router IBM TotalStorage IP Storage 200i 用Cisco SN 5420构造的存储系统 iSCSI协议结构 1.概述 2.协议数据单元格式 3.用于iSCSI协议的SCSI模式参数 4.登录相 5.登录相之外的工作参数协商 6.错误处理和恢复 iSCSI的命名和编址 iSCSI使用类似URL的iSCSI名字来唯一鉴别启动设备和目标设备。 地址会随着启动设备和目标设备的移动而改变,但名字始终是不变的 iSCSI的命名和编址 一个iSCSI名字由三部分组成:类型定义符、名字认证机构、由该认证机构分配的名字 iscsi.com.acme.sn.8675309 iSCSI地址格式 [:]/ iSCSI的发现机制 启动设备可以通过下列方法发现目标设备: 在启动设备上设置目标设备的地址 在启动设备上设置默认目标设备地址,启动设备可通过“SendTargets”命令从默认目标设备上获取iSCSI名字列表 发出服务定位协议(SLP)广播请求,等待目标设备回应 查询存储设备名字服务器获取可访问的目标设备列表 iSCSI会话(session) 启动设备和目标设备之间的TCP连接构成一次会话 一个会话包含一个或多个TCP连接 会话由会话号区分,会话号包括启动设备部分和目标设备部分 会话中包含的TCP连接可以增加也可以删除,这些连接由连接号(CID)区分 命令编号 从启动设备到目标设备SCSI层的命令由iSCSI编号,该号码由iSCSI协议数据单元中的命令序列号(CmdSN)携带 目标设备的iSCSI层必须按命令序列号的顺序把命令传递给SCSI层 目标设备的SCSI层接收到命令后该命令序列号即失效。命令序列号也能被用来进行命令的流量控制 iSCSI登录和协商 iSCSI登录是用来在启动设备和目标设备之间建立TCP连接的机制 登录的作用包括鉴别通讯双方、协商会话参数、打开相关安全协议并且给属于该会话的连接作标记 登录过程完成后,iSCSI会话进入全功能相(full feature phase),这时启动设备就能通过iSCSI协议访问目标设备里的各逻辑单元了 响应/状态编号 从目标设备到启动设备的响应由iSCSI编号,在iSCSI协议数据单元中用状态序列号(StatSN)表示 启动设备提供期望状态序列号ExpStatSN来确认状态 如果状态序列号和期望状态序列号不同则意味着连接出现了错误 协议数据单元格式 iSCSI启动设备命令基本首部(BHS) iSCSI协议的实现 iSCSI代码来源 iscsi-Apr6.tgz: Intel (http://sourceforge.net) kernel_emulator_10.tgz: IOL(InterOperability Lab) of UNH(University of New Hampshire) (http://www.iol.unh.edu) Iscsi-0.1.tar.gz: iSCSI research team of UML(University of Massachusetts Lowell) (http://www.cs.uml.edu/~mbrown/iscsi) 程序的运行 启动设备端: insmod scsi_target.o insmod iscsi_target.o 客户端: insmod iscsi.o insmod iscsi_client.o fdisk /dev/sda mke2fs /dev/sda1 mount –t ext2 /dev/sda1 /mnt/iscsi raiddev /dev/md0(多个目标设备) 程序的结构(目标设备) 1.STML(SCSI Target mid-level) 处理SCSI命令 2.FETD(front-end Target driver) 将STML发来的命令数据封装成底层通讯协议数据包的格式发送到网络上或者将从网络接受到的数据包解包传递给STML 将STML和FETD分开的原因 增强程序的可重用性 STML是通用的 FETD是和底层采用的通讯协议(TCP/IP、Fibre channel)相关的 STML提供给FETD的API register_target_template() deregister_target_template() register_target_front_end() deregister_target_front_end() rx_cmnd() scsi_rx_data() scsi_target_done() scsi_release() rx_task_mgmt_fn() FETD提供给STML的API detect() release() xmit_response() rdy_to_xfer() task_mgmt_fn_done() report_aen() 重要的数据结构 struct Target_Emulator struct Scsi_Target_Template struct Scsi_Target_Device struct Target_Scsi_Cmnd struct scsi_request struct Target_Scsi_Message struct scsi_cmnd struct sg_io_hdr_t STML的初始化 初始化一个struct Target_Emulator类型的全局变量 创建线程scsi_target_process_thread处理大多数的STML的工作 进入等待 FETD的初始化 向STML注册,STML将其加入设备队列 创建线程iscsi_server_thread监听端口4002 进入等待 FETD向STML的注册过程 FETD向STML注销过程 FETD对请求的响应 当在4002端口监听的线程接收请求后 创建线程iscsi_rx_thread接收SCSI命令 创建线程iscsi_tx_thread传送应答和状态 FETD创建一个Target_Scsi_Cmnd类型的数据接收SCSI命令,将其加入命令队列,唤醒STML的线程STT处理收到的SCSI命令 STML对FETD的响应 调用handle_cmd处理命令队列 调用hand_to_front_end返回处理结果 处理结果加入FETD的发送队列xmit_queue等待发送 在结果发送完成后调用scsi_target_dones释放资源 iSCSI 的应用 采用iSCSI的设备的特点 采用了iSCSI协议的硬件设备是NAS和SAN的中间产品,它能简单连接到企业内部网,做到即插即用。而每一个远程用户端对该存储设备的访问效果接近于在本地直接访问SCSI盘。 为无法承担光纤通道SAN环境基础结构高成本的中间市场客户提供利用SAN所带来的好处 iSCSI & NAS 在NAS上部署iSCSI协议很简单,因为不需要任何硬件上的改动,只是驱动软件的安装 iSCSI & SAN The end
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值