目录
一、网络的认识
1.网络定义与发展
在很久之前,我们需要在异地进行语言沟通,都是以飞鸽传书,或者是写信的方式进行。到后来的座机电话,链接一根电话线,就能进行通信,随着时代的发展,到现在的网络,直接两部手机,可以在全球各地实时进行通信,也就是今天要学习的网络。那么什么是网络呢?网络是指将多个计算机或者设备通过通信线路、传输协议和网络设备链接起来,形成的一个相互通信和共享资源的系统。那么我们继续理解网络的基本模式发展过程如下图:
早期的数据协作依赖于物理介质的拷贝传输,当跨设备协作需求出现时,人们通过软盘、光驱等载体将数据写入存储设备后携带至其他计算机读取,这种基于实体介质的数据交换方式虽然实现了基本的离线协同功能。
但由于介质容量有限、传输速度极慢且操作繁琐,严重制约了数据流通效率,成为数字化协作发展初期的重要技术瓶颈。 为了解决这样的问题,于是就有了一个新的思路,能不能把所有的计算机通过某种物质链接在一起进行互相协作功能呢?可以提高效率,进行实时的数据的共享和交互。于是就有了下面这种结构:
这样所有的电脑都链接在了一起。随着时代的发展,大家都要进行通信,如果全部电脑都要进行链接,全球这么大,进行这样的方式来链接,毫无疑问,成本相当高。所以就提出了局域网和广域网的概念进行解决这一问题。我们的方法都是建立于问题之上的,有了新的问题就会有新的方法,有了新的方法就会有新的问题。
2.局域网
局域网 LAN 主要是指在相对较小的范围内的计算机互联网络。这个 “小范围” 可以是覆盖一个宿舍,一个办公楼、一所学校等。局域网的主要特点是:传输速度快、延迟低,并且用于连接同一组织内部的计算机和设备。例如,一家公司内部的多台电脑通过路由器或交换机连接在一起形成的网络就是局域网。
3.广域网
广域网 WAN 就是我们通常所说的 Internet,是指跨越较大地理范围的计算机网络,它通常由多个局域网或城域网互相连接而成,是一个遍及全世界的网络,将远隔千里的计算机都连在一起。广域网可以覆盖多个城市、省份甚至国家之间的分支机构或办公地点,并且利用互联网等公共网络进行数据传输。广域网允许远程地点的计算机和用户之间实现高速、可靠的连接,以满足远程办公、数据共享和协作等需求。
二者有啥区别:
-
公网、外网,即广域网(WAN)
-
私网、内网,即局域网(LAN)
所谓 “局域网” 和 “广域网” 只是一个相对的概念。比如, 我们有 “天朝特色” 的广域网,也可以看做一个比较大的局域网。如果硬要区分的话可以看路由器,如果没有路由器就是局域网,需要路由器横跨就是广域网。当然这两种方式是一种抽象出来的表达方式,但不管怎么说,这两种都可以体现网络的概念,以实现了数据的交互功能。
二、协议
协议的本质:
我们用最朴素的方式去理解协议这个概念,协议就是双方约定好的一种通信方式,比如我们看电视剧的名场面,大哥叫小弟去站哨,如果有人来了,你学狗叫,如果大人物来了你学鸡叫。那么他们两个就达成了一种协议来表示另外一层信息。这就是协议的体现。但是,计算机生产厂商有很多,计算机操作系统也有很多,计算机网络硬件设备也有很多。他们可能各自有自己的协议。所以,为了让他们之间生产的计算机能够相互顺畅的通信,还需要计算机对应的硬件厂商以同样的规范来处理 0/1 问题。需要约定一个共同的标准,让大家都遵守,这就是网络协议(TCP/IP)。协议的本质是一层软件层,是为了让双方通信的本质更高效。
计算机的内部有很多组件,比如 CPU、显卡、网卡… 而它们在计算机内部是用线连接起来的。所以,一台计算机的内部本质上也是一个小型的网络结构,计算机内部设备和设备之间也存在协议,比入驱动程序访问硬件就得通过协议。假设这些线足够长,将硬盘放到几百公里之外,那么现在我们再去存储数据就由原来的写入本地变成通过网络写入远端了,再把 CPU 等都放到远处,就相当于我们把一台计算机的各个功能用多台计算机构建起来,通过网络来进行连接。
所以可以得出结论:在计算机中,体系结构中有网络,网络中有体系结构。
而我们今天要去学习的计算机协议,就必须要去理解计算机通信会产生哪些问题,以及我们要去解决什么问题,进而去引入到协议的概念中去:
- 如何处理发送以及接收的数据
- 长距离间传输的数据丢失问题
- 如何定位主机(怎么确定是谁发给谁的)
- 如何保证发送以及接收能准确达到
上面提出了四个问题,这四个问题为了能更好的得到解决,那么肯定也有对应的方法,观察得知,这四个问题互不影响,进而得知,某一个问题的产生并不会影响另外一个问题。所以就得出了网络分层的概念!每一层都设置一些相应的协议来通过数据交互解决对应的问题,比如在协议中有各种各样的字段,表示这个数据就是发送给某人的,比如说把主机的ip地址写进去,表示就是给某个特定的ip地址写的,所以每台机器都有对应的ip地址,可以对应到远端主机上,那其他的问题也有对应的协议方法,例如有https,http,ftp等等协议,这些协议都可以来解决对应产生的问题和方法。所以在日常的网络通信当中,单纯传递一个字符串是不可以的,它通常需要伴随一些包裹的信息,比如这是谁发的,这是谁写的,什么时候发的,这些管理数据是一定要有的,而这些多出来的部分就叫做协议,依据这些协议可以更好地进行通信,每次发送信息多出来的那一部分就是协议的内容。那在内核的实现是如何实现的呢?其实很简单,把对应的内容放到一个结构体当中,再把结构体传递出去就可以。
三、网络分层模型
1.分层的概念理解
我们通过操作系统的学习知道,在操作系统中是存在分层的概念的,比如说从硬件到驱动,再到操作系统,再到系统调用,这些都是分层的概念。
那在网络的知识体系中,分层的概念也是必然存在的,为什么也存在呢?
1.网络规模大
在网络进行通信的时候,整个模块的规模是一个非常庞大的规模,那为了解决这样的问题,于是提出了网络分层的概念,想办法把一个一个的模块之间进行解耦,这样就必须要首先进行分层
2.协议问题
协议本身是要用来解决问题的,那如果要是设计为分层的结构,协议进行不断的向下或向上传递,这样就可以更好的解决问题,这也是解决问题的一种方式,那这样的方式用来解决问题是比较优秀的,这样就可以解决很多问题,比如说两台设备之间想要实现通信,那么就必然意味着这两个设备的底层内部会有一系列的转换,最终实现了设备数据的交互,那如果借助了分层的结构,那么解决这样的问题就会方便很多。
通过上图打电话的举例:两个人用电话联系。站在人的角度,是人与人之间在沟通,而站在电话的角度,是电话与电话之间在沟通,这就叫做分层。 并且,不管你用中文,英文,日语交流都是一样可以进行通信的,上层的改变,并不会影响下一层的改变。
层状结构的好处:谈及到层状结构的好处,就必须要谈及到解耦的好处了,解耦带来的最大的好处就是互不影响,那分层的一个比较大的特点就是非常方便的进行维护,一层出现问题只会影响一层,而不会影响其他层,如果A和C的电话出现了问题,那么就只需要更换电话即可,而电话底层的内部信息没有出现问题,同理,如果把每一层的协议都看成一层,那么总共就拥有着上层中层下层这样的层次结构,因此可以很好的降低维护的成本。下一个问题是,网络是如何进行分层的?
2.OSI七层模型
OSI把网络从逻辑上分为了七层,每一层都有相关的物理设备。
- OSI(Open System Interconnection,开放系统互连)七层网络模型称为开放式系统互联参考模型,是一个逻辑上的定义和规范;
- 把网络从逻辑上分为了7层. 每一层都有相关、相对应的物理设备,比如路由器,交换机;
- OSI 七层模型是一种框架性的设计方法,其最主要的功能使就是帮助不同类型的主机实现数据传输;
- 它的最大优点是将服务、接口和协议这三个概念明确地区分开来,概念清楚,理论也比较完整. 通过七个层次化的结构模型使不同的系统不同的网络之间实现可靠的通讯;
但是, 它既复杂又不实用; 所以我们按照TCP/IP四层模型来讲解
3.TCP/IP五层(四层)模型
在谈TCP模型之前,我们先思考一个问题,网络协议栈和操作系统有关系吗?前面的分层中,举例举的都是操作系统的分层的概念,那么落实到TCP中,该如何理解这个过程呢?
那下面给出的图,就展示了网络协议栈和操作系统之间的关系:
上图所示的就是网络协议栈的基本图示,那下面要补充的一个小结论是,所有的操作系统内部实现都是一样的,只要想通信,全部都是一样的。
该如何理解这句话?再操作系统的内部,不同的操作系统可能会有不同的实现方式,例如有内存管理,进程管理,文件管理,驱动管理,这些管理的方式是五花八门的,不同的操作系统有不同的管理方式,但是不管怎么说,只要符合操作系统的理论就可以,但是到了网络这一块却并不是这样,从网络的角度来看,网络协议栈必须是一样的,每一个操作系统只要想要进行数据通信,那么它内部所搭载的网络协议栈结构必须要是一样的,否则就无法进行入网的操作,具体的原因后续会继续进行补充,这里只需要知道,不管是安卓还是Windows还是其他的操作系统,它们的网络协议栈必须是一样的。有了上图的结论,我们输出的下一条结论是,网络通信的本质,就是贯穿协议栈的过程。
该如何理解贯穿协议栈这件事呢?再看下面的图:
现在有两台设备,一台手机一台电脑,依据上面的原理,网络协议栈拥有相同的结构,那么这也就意味着每一层的结构体对应的协议等信息都是要认识的,定义的字段等,不管哪一个操作系统都是要认识这些字段的,这是提前规定好的,那在实际的网络通信的原理中,也确实如此,从用户层想要发送给另外一个设备的用户层,必须要全部把网络协议栈都穿透一次,贯穿硬件,必须从硬件上才能发送过去,所以说有这样的结论:网络通信的本质就是贯穿协议。
四、网络传输基本流程
1.传输流程
局域网中同一个网段内的两台主机是可以直接进行通信(文件传输)的。
两台计算机通过TCP/IP协议通讯的过程如下所示:
跨网段的主机的文件传输,数据从一台计算机到另一台计算机传输过程中要经过一个或多个路由器。前面讲到的层状结构,每一层都会有协议,而每一个协议的最终表现就是报头。举个生活中的例子,网购时,商家需要将物品送到我们手上,但并不是他们亲自派送,而是交给快递公司,这就体现了分层的思想:
我们收件的时候不会单单只收到物品,还有快递盒和快递单。这个多出来的快递单就叫做报头。同样,现在我们需要发数据,发送的数据可能比我们想要的要多一点,那么这多出来的一部分就是报头。那这个快递单号又是给谁看的呢?是给快递员看的,这个快递单就是快递公司自己定的协议,这个快递单子在它们的物流体系中都能够被识别。所以,协议通常是通过协议报头来表达的,每一份数据在每一层都要有自己的报头。客户在应用层发送数据,为了数据的安全、完整和网络之间的路径选择等问题,必须自顶向下经过应用层、传输层、网络层、链路层,再通过局域网发送给对方。每层都有自己的协议定制方案,每层协议都要有自己的协议报头,从上到下交付数据时时,都会添加对应的报头。如何去理解呢?
一个设备至少要横跨两个网络,才能实现数据包跨网络转发,所以路由器必须要横跨两个网络,也就是必须有两张网卡。
2.协议参与数据包封装和分用
假设现在有两个人在用 QQ 进行聊天,站在他们的角度,他们会认为他们是在用户层直接进行聊天,而实际上却是数据向下交付(封装)在向上解包(分用)才实现的聊天。
- 数据包封装:在向下交付的时候每一层都会添加自己的报头,再把报文向下交付。
- 数据包分用:在向上解包时,因为同一层有相同的协议,所以能识别报头,它会解开报头,把有效载荷在向上解包。这样就形成了对称的结构。
在本文之前的内容中讲到,对于协议的理解可以简单理解为多余的部分,那在此重新对于协议有一个理解:报文 = 报头 + 有效载荷,那如何理解报头,说到底,报头就是双方都约定好的一个结构体对象,那在应用层当中把用户真正的内容再带上报头组合起来,就组成了报文,之后这个报文就能继续传递,然后再继续带上报文,再继续传递…
当传递到另外一个端口进行解析的时候,就对于这个报文进行解析,找到其中有效的有效载荷,就能对于内容进行解析,进而取出真正需要的内容,我们用下图来表示这么一系列的过程:
可以看到同层报头和有效载荷完全一样,左边如何发的,右边就是如何收到的,那么就可以认为是在同层协议中直接通信,也可以理解为向下交付。
而对于不同网段的两台计算机通讯过程略有不同,不同的地方就在路由器部分:
它的流程图是这样,在路由器部分传递给令牌环驱动程序的时候,加上的报头就是令牌环协议(重新封装),这样就跟左边不一样了,但是不影响上面的对称性。
可以得出 IP 层的作用就是屏蔽底层网络的差异。将自顶向下进行交付的过程称为封装,封装就是添加报头的过程。解包的本质就是去掉报头,展开分析。
令牌环网的解决方式就是谁持有令牌环谁发送数据。没有令牌的主机就不能发送消息。就类似于系统中的锁。
3.局域网通信原理
上图展示的是一个最为基本的通信原理,有一个包中包含的内容是,M1到M10,数据信息紧随其后,那么只要是在同一个局域网内的网卡设备都有接受信息的能力,但是不同的是,当非M10的网卡接受到信息之后,会鉴别到这个信息不是给我的,那么就会把这个包进行丢弃,直到当M10检测到这个包,说这个包是传递给我这个当前网卡的,那么就对这个包进行使用。
可以理解成:在教室,老师上课的时候问张三,为什么没有交作业,全班同学都听到了,但是不会回应,因为这句话是将给张三听的,张三听到名字(报头)后,立马回应老师,这就是通信的原理。
3.1数据碰撞
如果此时有好多设备同时进行数据传输,那么在进行传输的过程中就会造成数据碰撞的问题,光电信号会进行互相干扰最终导致波形图混乱等问题,所以依据这个原理,如果想要对于一个局域网进行毁坏,其中一个方法就是可以向局域网中发送大量的垃圾信息,这样就可以使得和正常信息进行碰撞,使得这个局域网出现破坏。那这样岂不是乱套了,对此,以太网自然会有自己的解决措施,因此以太网就有一个对应的承受范围,在这个范围内可以避免这样碰撞的产生,可以进行延迟发送等操作。
五、网络的地址管理
1.初步认识IP地址
在Linux命令行显示器上输入ifconfig,就能看到,inet后面显示的就是IP地址,ether后面显示的就是MAC地址。
IP 地址(Internet Protocol Address)是用于在互联网上唯一标识和定位设备的一组数字。由 32 位二进制数或 4 个八位二进制数组成的十进制数表示。它分为两部分:网络地址和主机地址,网络地址用于标识所连接的网络,而主机地址则用于标识具体的设备。IP 地址用于在网络上进行数据包的传输和路由选择。
当你连接到互联网上时,你的设备会被分配一个 IP 地址,以便在网络中唯一标识和定位你的设备。IP 协议有两个版本,IPv4 和 IPv6。后面凡是提到 IP 协议,没有特殊说明的,默认都是指 IPv4。以下是两个示例 IP 地址的解释:
- IPv4 地址:192.168.0.1 这是一个常见的 IPv4 地址格式。对于 IPv4 来说,IP 地址是一个 4 字节,32 位的整数。它由四个八位二进制数组成,通过 “点分十进制” 的字符串表示。在这个示例中,192.168.0.1 是一个 IP 地址,其中 192.168.0 表示网络地址部分,而 1 则表示主机地址部分。其中,用点分割的每一个数字表示一个字节,范围是:0~255。这个 IP 地址可能用于一个局域网中的路由器或计算机。
- IPv6 地址:2001:0db8:85a3:0000:0000:8a2e:0370:7334 IPv6 地址是下一代 IP 地址标准,是一个 16 字节,128 位的二进制数,并使用冒号分隔。在这个示例中,2001:0db8:85a3:0000:0000:8a2e:0370:7334 是一个 IPv6 地址,它包含了网络地址和主机地址信息。IPv6 地址的主要目的是扩展互联网的地址空间,以支持未来更多的设备连接。
上面这些是示例 IP 地址。实际上,每个设备在网络中都有一个唯一的 IP 地址,以便进行通信和数据传输。在使用 TCP/IP 协议的网络中,IP 及其向上的协议看到的报文都是一样的。
2.初步认识MAC地址(以太网地址)
MAC 帧地址(Media Access Control Address)也称为物理地址或硬件地址,用来识别数据链路层中相连的节点。它是一个用于在局域网中唯一标识网络适配器(如:网卡)的长度为 48 位(即 6 个字节)的二进制数。一般用 16 进制数字加上冒号的形式来表示(例如:08:00:27:03:fb:19)每个网络适配器都有一个唯一的 MAC 地址(虚拟机中的 mac 地址不是真实的 mac 地址,可能会冲突,也有些网卡支持用户配置 mac 地址),它由厂商在生产时烧录到适配器中,在网卡出厂时就确定了,不能修改。MAC 帧地址用于在局域网中寻找目标设备,它是数据链路层的一部分,用于将数据包从源设备传输到目标设备。在以太网中,MAC 地址是数据包在局域网中传输所必需的信息。 举例说明 MAC 帧地址的结构和作用,假设有两台计算机 A 和 B 进行通信:
计算机 A 的网卡上配置了 MAC 地址为 00:11:22:33:44:55,计算机 B 的网卡上配置了 MAC 地址为 AA:BB:CC:DD:EE:FF。当计算机 A 希望将数据包发送到计算一个以太网帧,并包含以下字段:
- 目标 MAC 地址:设置为计算机 B 的 MAC 地址(AA:BB:CC:DD:EE:FF)。
- 源 MAC 地址:设置为计算机 A 的 MAC 地址(00:11:22:33:44:55)。
- 其他帧头字段(例如帧类型等)和数据。
计算机 A 将该帧发送到网络,经过交换机等设备转发,最终到达计算机 B 的网卡。计算机 B 接收到该帧后,会检查目标 MAC 地址与自己的 MAC 地址是否匹配。如果匹配,则认为该帧是发给自己的,继续解析帧中的其他字段和数据。
通过这个过程,MAC 帧地址起到了两个重要的作用:
- 唯一标识设备:每个网络设备(如网卡)都有一个唯一的 MAC 地址,用于在局域网中识别和寻址设备。这是因为以太网是一个共享介质的网络,通过 MAC 地址可以准确地将数据包传送到目标设备。
- 确保交付:通过将目标MAC地址设置为接收方的 MAC 地址,数据包可以被有针对性地转发到正确的设备,确保数据包的正确交付。
既然这两个都能表示地址,那么为什么要搞两个地址呢?
举个例子帮助理解:在西游记中,唐僧每经过一个国家的时候,会跟当地的人说:贫僧从东土大唐而来,去往西天拜佛取经。当地人就会问他从哪里来的,再告诉他接下来要去哪(这个过程就叫作路由的过程,路由的本质就是根据目的地来选择下一站去哪)。比如说,上一站是江西,下一站要去湖南。这里的东土大唐和西天就是源 IP 地址,自始至终都不会改变,而湖南(下一站地址)是源 MAC 地址,一直在变化。
- IP 地址提供的是方向。
- MAC 地址提供的是可行路径。
注意:这里的 MAC 两个地址一定是挨着的,所以是同一个局域网。