网络编程
引子
假如有两个脚本,foo.py,bar.py,分别运行,都可以正常运行。但是想从两个程序间传递一个数据。
创建一个文件,将foo.py的数据读入文件中,bar.py读取文件内容
软件架构
C/S架构
C/S即Client和Server:客户端和服务器端架构。
B/S架构
B/S即Browser和Server:浏览器端和服务器端架构
端口
整个网络通信通过IP地址+端口号来识别不同的网络服务。
端口号是用来表示区别网络找那个不同的应用,操作系统会对端口号进行编号,即端口号。端口号使用16位,范围0-2^16-1,0-65535端口的分配是基于一定规则的,而不是随意分配。例如几个知名端口:80,分配给Http服务的;21分配给Ftp服务的。
80,分配给http服务的
21,分配给FTP服务
动态端口:
一般不固定分配某种服务,动态分配。范围:1024-65535
所谓的动态分配,是指一个程序需要网络通信时,他向主机申请一个端口,主机可从可用的端口号中分配一个供其使用。关闭程序时,提示释放占用的端口。
端口查看:netstat -ano
用IP可以唯一标识网络中的主句,协议+端口号唯一标识主机中的应用进程。
Socket
创建一个socket
import socket
socket.socket(AddressFamilym,Type)
AddressFamilym:
- AF_INET,internet间进程通信,实际工作中最常用的。
- AF_UNIX,同一台机器间进程通信。
Type 套接字类型
- SOCK_DGRAM,数据报套接字,主要用于UDP协议
- SOCK_ATREAM,流式套接字,主要用于TCP协议
sever.py脚本代码:
import socket
# 创建一个socket对象
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 获取本地主机名
# host = socket.gethostname()
# 设置端口号
port = 9955
# 绑定端口
serversocket.bind(('localhost', port))
# 设置最大连接数,超过后排队
serversocket.listen(5)
while True:
# 建立客户端连接
clientsocket, addr = serversocket.accept()
print('连接地址:', str(addr))
msg = '网络编程测试' + '\r\n'
clientsocket.send(msg.encode('utf-8'))
msg_back=clientsocket.recv(1024)
print(msg_back.decode('utf-8'))
clientsocket.close()
client.py脚本代码:
import socket
# 创建一个socket对象
ss = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 获取本地主机名
host = socket.gethostname()
# 设置端口号
port = 9995
# 连接服务,指定主机和端口
ss.connect(('localhost', port))
msg = ss.recv(1024) # 指定要接收的最大数据量,这里是1024k
if msg:
msg_back='我收到了'
ss.send(msg_back.encode('utf-8'))
ss.close()
print(msg.decode('utf-8'))
UDP网络程序
UDP:用户数据报协议,是一个无连接的简单的面向数据报的运输层协议。一般多用于多点通信和实时的数据业务,比如:视频、qq、语音广播等。
- 优点:
传输速度快。UDP在传输时无需在客户端和服务器端之间建立连接,也无超时重新发送机制。
- 缺点:
不能保证可靠性。UDP是一种模型无连接的协议,每个数据都是一个独立的信息,包含完整的源地址或者目的地址,在网络上以任何可能的路径传往目的地。因此能够到达的目的地以及到达的时间和内容的正确性都无法保证。
特点:
- 面向无连接的通讯协议。
- 包含目的端口号和源端口号信息,通讯不需要连接,能够实现广播发送。
- 传输的数据大小有限制,每个被传输的数据报必须限定在64k以内。
- UDP是一个不可靠的协议。发送出去的数据报不一定以相同的次序到达接收方。
流程:
- 创建一个客户端套接字
- 发送/接收数据
- 关闭套接字
socket和file的区别:
file针对指定模块进行’打开’,‘读写’,‘关闭’
socket针对服务器端和客户端socket进行’打开’,‘读写’,‘关闭’
#demo:
循环发送/接收数据
udp_sendmsg.py脚本代码:
import socket
udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
addr = ('192.168.1.114',8080)
while True:
sendDate = input('请输入要发送的数据:')
udp_socket.sendto(sendDate.encode('utf-8'), addr)
udp_socket.close()
udp_recmsg.py脚本代码:
import socket
udp_socket1 = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
udp_socket1.bind(('192.168.1.114', 8080))
while True:
mmsg = udp_socket1.recvfrom(1024)
print(str(mmsg[0]),type(str(mmsg[0])))
udp_socket1.close()
使用网络调试助手时,端口号会一直变动。
UDP端口号绑定
一般情况下,在一台电脑上运行的网络程序有很多,为了不与其他的网络程序占用同一个端口号,往往在编程中,udp的端口号一般不绑定。但是如果需要做成一个服务器端的程序的话,是需要绑定的,想想看这又是为什么呢?如果报警电话每天都在变,想必世界就会乱了,所以一般服务性的程序,往往需要一个固定的端口号,这就是所谓的端口绑定
Socket 对象(内建)方法
函数 | 描述 |
---|---|
服务器端套接字 | |
s.bind() | 绑定地址(host,port)到套接字, 在AF_INET下,以元组(host,port)的形式表示地址。 |
s.listen() | 开始TCP监听。backlog指定在拒绝连接之前,操作系统可以挂起的最大连接数量。该值至少为1,大部分应用程序设为5就可以了。 |
s.accept() | 被动接受TCP客户端连接,(阻塞式)等待连接的到来 |
客户端套接字 | |
s.connect() | 主动初始化TCP服务器连接,。一般address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。 |
s.connect_ex() | connect()函数的扩展版本,出错时返回出错码,而不是抛出异常 |
公共用途的套接字函数 | |
s.recv() | 接收TCP数据,数据以字符串形式返回,bufsize指定要接收的最大数据量。flag提供有关消息的其他信息,通常可以忽略。 |
s.send() | 发送TCP数据,将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。 |
s.sendall() | 完整发送TCP数据,完整发送TCP数据。将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。 |
s.recvform() | 接收UDP数据,与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。 |
s.sendto() | 发送UDP数据,将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。 |
s.close() | 关闭套接字 |
s.getpeername() | 返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。 |
s.getsockname() | 返回套接字自己的地址。通常是一个元组(ipaddr,port) |
s.setsockopt(level,optname,value) | 设置给定套接字选项的值。 |
s.getsockopt(level,optname[.buflen]) | 返回套接字选项的值。 |
s.settimeout(timeout) | 设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如connect()) |
s.gettimeout() | 返回当前超时期的值,单位是秒,如果没有设置超时期,则返回None。 |
s.fileno() | 返回套接字的文件描述符。 |
s.setblocking(flag) | 如果flag为0,则将套接字设为非阻塞模式,否则将套接字设为阻塞模式(默认值)。非阻塞模式下,如果调用recv()没有发现任何数据,或send()调用无法立即发送数据,那么将引起socket.error异常。 |
s.makefile() | 创建一个与该套接字相关连的文件 |
import socket
udp_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
local_addr=("",7788)
udp_socket.bind(local_addr)
recv_data=udp_socket.recvfrom(1024)
print(recv_data[0].decode("gbk"))
udp_socket.close()
总结:
- 一个udp网络程序,可以不绑定端口,此时系统会自动分配一个端口。重新运行此程序,端口号可能会发生变化。
- 一个udp网络程序,可以绑定信息(IP,Ports)。如果绑定成功,那么操作系统用这个端口号来进行区别收到的网络数据是否是此进程的。
TCP简介
TCP协议,传输控制协议(Transmission Control Protocol),是一种面向连接的、可靠地、基于字节流的传输层通信协议。
TCP通信需要经过创建连接,传输数据,终止连接三个步骤。
TCP和UDP的不同点
- 面向连接
- 有序的数据传输
- 无差错的数据传输(重发丢失的数据包,舍弃重复的数据包)
- 阻塞/流量控制
- TCP通信模型,类似“打电话”,在通信开始前,一定要先建立相关连接,才能发送数据;而UDP通信模型,类似“写信”,不需要建立相关连接,只需要发送数据即可。
在Python中,用TCP进行socket编程也比较简单。
- 客户端
- 要主动连接服务器的IP和服务器的指定端口。
- 服务器
- 监听指定端口;
- 对于每一个新的连接,创建一个线程或进程。
通常,服务器程序可以无限运行下去。要注意的是:一个端口不能同时被两个socket绑定。
TCP服务端和客户端格子socket的创建和交互。
在Python程序中,如果要完成一个tcp服务器功能,需要的流程如下:
- socket创建一个套接字(买手机)
- bind()绑定IP和Port(插卡)
- listen()使套接字由主动变为被动连接,即开启监听模式(设置一个响铃模式)
- accept()等待客户端的连接
- recv/send接收/发送
- closesocket关闭套接字
import socket
#创建套接字
tcp_socket=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#绑定本地信息
tcp_socket.bind(("",8082)) #port num>1024的随意用,<1024的一般指定用途
#设置监听
tcp_socket.listen(5)
#创建新的套接字
new_socket,addr=tcp_socket.accept()
#收、发数据
content=new_socket.recv(1024)
print("接收到的数据:",content.decode("gbk"))
data=input("服务器发送的数据:")
new_socket.send(data.encode("gbk"))
#关闭通信的socket
new_socket.close()
#关闭用于监听的
tcp_socket.close()
设置监听的目的:
socket默认为主动模式,listen()能够将主动模式改为被动模式,被动了才能接收信息
listen(5),5是指可以同时接收到的客户端申请的最大数,超过则拒绝连接。
创建新套接字的原因:
服务器接收到请求后,将生成一个新的套接字,专门给新来的客户提供一对一的服务
此时,服务器套接字的任务就是等待新的客户
import socket
#创建套接字
tcp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#目标服务器信息
server_ip=input("请输入服务器IP:")
server_port=input("请输入服务器port:")
#连接服务器
tcp_client_socket.connect((server_ip,int(server_port)))
#提示用户输入数据
send_data=input("请输入要发送的数据:")
tcp_client_socket.send(send_data.encode("utf-8"))
#接收服务器端发来的信息
recv_data=tcp_client_socket.recv(1024)
print("接收到的数据为:",recv_data.decode("gbk"))
tcp_client_socket.close()
TCP协议
当应用程序希望通过TCP与另一个应用程序通信时,他会发送一个通信请求。这个请求必须被送到一个确切的地址。在双方握手之后,TCP将在两个应用程序之间建立一个全双工(full-duplex)的通信。这个全双工的通信将占用两个计算机之间的通信线路,知道他被一方或双方关闭为止。
标志位,TCP的6个标志位,标志位是一种二进制的指令。
- SYN:发起一个新连接
- FIN:释放一个连接
- ACK:确认
TCP三次握手
TCP是因特网的传输层协议,使用三次握手协议简历连接。当主动方发出SYN连接请求后,等待对方的回答SYN+ACK,并最终对对方的SYN执行ACK确认。这种建立连接的方法可以防止产生错误的连接。
TCP三次握手的过程
- 客户端发送SYN(seq=x)报文交给服务器端,进入SYN_SEND状态;
- 服务器端收到SYN报文,会因一个SYN(seq=y)+ACK(x+1)报文,进入SYN_RECV状态;
- 客户端收到服务器端的SYN报文,回应一个ACK(y+1)报文,进入Established状态。
三次握手完成,TCP客户端和服务器成功建立连接,可以开始传输数据。
TCP四次挥手
建立一个连接需要三次握手,而终止一个连接需要四次挥手,这个是由TCP的半关闭(Half-close)造成的。
- 某个应用进程首先调用close,称该端执行“主动关闭”(active close)。该端的TCP于是发送一个FIN字节,表示数据发送完毕。
- 接收到这个FIN的对端执行“被动关闭”(passive close),这个FIN由TCP确认。
注意:
FIN的接收也作为一个文件结束符(end-of-file)传递给接收端应用进程,放在已排队等候该应用进程接收的任何其他数据之后,因为FIN的接收意味着接收端应用进程在相关的连接上再无额外数据可接受。
- 一段时间后,接收到这个文件结束符的应用进程将会调用close关闭它的套接字。这导致它的TCP也发送一个FIN
- 接收这个最终FIN的原发送端TCP(即执行主动关闭的那一端)确认这个FIN。(每端都需要一个FIN和一个ACK,因此通常需要四个字节)
广播、Mac地址、arp协议、路由器、局域网、子网掩码