28、Python与互联网交互全解析

Python与互联网交互全解析

1. 互联网交互基础

互联网几乎汇聚了全球所有的知识，我们常用网页浏览器（如Safari、Google Chrome、Firefox等）来访问万维网获取信息。访问网站时，可在浏览器地址栏输入URL（统一资源定位符）并回车，或点击链接自动跳转。

除了使用浏览器浏览网页，还能用编程语言（如Python）以编程方式访问网页内容。在Python中，有两个主要模块可用于此： urllib 和 Beautiful Soup 。

1.1 网络工作原理

当在浏览器中输入URL或点击链接时，会向互联网发送请求。互联网将请求导向相应的Web服务器，服务器再将响应返回给计算机。响应通常是网页，但也可能是其他文件，若请求的资源不存在，会返回错误信息。用户和用于访问互联网的程序处于客户端，服务器则是返回响应的计算机。其流程如下：

graph LR
    A[客户端] -->|发送请求| B[互联网]
    B -->|导向请求| C[Web服务器]
    C -->|返回响应| A

1.2 理解神秘的URL

URL是整个交互过程的关键，互联网通过它来查找所需资源。网页上的所有资源都使用超文本传输协议（HTTP），因此URL以 http:// 或 https:// 开头。其中， http:// 以明文形式传输数据，易被黑客窃取；