《Using Python to Access Web Data》 Week3 Networks and Sockets 课堂笔记

Coursera课程《Using Python to Access Web Data》 密歇根大学

Week3 Networks and Sockets

12.1 Networked Technology

Transport Control Protocol(TCP)

TCP端口就是为TCP协议通信提供服务的端口。TCP(Transmission Control Protocol)，TCP是一种面向连接(连接导向)的、可靠的、基于字节流的运输层(Transport layer)通信协议。

在计算机网络OSI模型中，它完成第四层传输层所指定的功能。我们的电脑与网络连接的许多应用都是通过TCP端口所实现的。

TCP Connections / Sockets

网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。

TCP Port Numbers

端口(port)是特定应用或特定程序之间软件交流的终点。它允许多种网络应用同时存在于同一服务。

一些TCP的端口号如下。

Common TCP Ports

• Telnet(23) - Login
• SSH(22) - Secure Login
• HTTP(80)
• HTTPS(443) - Secure
• SMTP(25)(Mail)
• IMAP(143/220/993) - Mail Retrieval
• POP(109/110) - Mail Retrieval
• DNS(53) - Domain Name
• FTP(21) - File Transfer

Sockets in Python

Python有内置的支持TCP Sockets的包。

三行代码就可以使用。

import socket
mysock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
mysock.connect(('data.pr4e.org',80))

其中'data.pr4e.org'是host，80是port。

12.2 Hypertext Transfer Protocol(HTTP)

HTTP - Hypertext Transfer Protocol

超文本传输协议(HTTP，Hypertext Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。

HTTP也就是一系列的规定，来使得浏览器通过网络上的服务来获取网络文档。

对于我们一个网址来说，比如http://www.dr-chuck.com/page1.htm，http://是protocol，www.dr-chuck.com是host，而/page1.htm是document。

Getting Data From The Server

每个用户切换网页时，浏览器都建立一个到网页服务器的连接，然后做一个"GET"的请求，以此来获得特定URL的网页内容。

服务器返回HTML的文档给浏览器，然后浏览器将其进行重新排版及显示。

Internet Standards

这些网络协议的标准都是由一个民间组织——互联网工程任务组(Internet Engineering Task Force, IETF)制定的。

而这些标准称为Request for Comments(RFCs)。

Telnet

Telnet协议是TCP/IP协议族中的一员，是Internet远程登陆服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序，用它连接到服务器。终端使用者可以在telnet程序中输入命令，这些命令会在服务器上运行，就像直接在服务器的控制台上输入一样。可以在本地就能控制服务器。要开始一个telnet会话，必须输入用户名和密码来登录服务器。Telnet是常用的远程控制Web服务器的方法。

An HTTP Request in Python

import socket

mysock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
mysock.connect(('data.pr4e.org', 80))
cmd = 'GET http://data.pre4e.org/romeo.txt HTTP/1.0\n\n'.ecode()
mysock.send(cmd)

while True:
    data = mysock.recv(512)
    if (len(data) < 1):
        break
    print(data.decode())
mysock.close()

而在进行上面的循环，传输回来的内容是这样的

HTTP/1.1 200 OK
Date: Sun, 14 Mar 2010 23:52:41 GMT
Server: Apache
Last-Modified: Tue, 29 Dec 2009 01:31:22 GMT
ETag: "143c1b33-a7-4b395bea"
Accept-Ranges: bytes
Content-Length: 167
Connection: close
Content-Type: text/plain

But soft what light through yonder window breaks
It is the east and Juliet is the sun
Arise fair sun and kill the envious moon
Who is already sick and pale with grief

其中第一段是HTTP Header，第二段是HTTP Body。