【网络安全 | Python爬虫】URL、HTTP基础必知必会

URL概念及组成结构

在开始爬虫的开发实战前，需要了解的是URL的概念及组成结构，这具有基础性和必要性。

URL（Uniform Resource Locator，统一资源定位符）是用于在互联网上定位和标识资源的字符串。它提供了一种标准的方式来指示资源的位置和访问方式。

例如：https://blog.youkuaiyun.com/2301_77485708就是一个URL。通过URL，我们可以方便地定位和访问互联网上的各种资源，例如网页、图片、视频等。

URL的组成结构如下：

【1】协议（Protocol）：URL的第一部分是协议标识符，它指定了访问资源时要使用的协议类型，如HTTP、HTTPS、FTP等。HTTP在文章后面会讲到

【2】主机名（Host）：主机名指定了存放资源的服务器的域名或IP地址。例如，www.example.com 或 192.168.0.1。

【3】端口号（Port）：端口号是可选的，用于指定特定服务的端口号。如果未指定，默认使用与协议相关的默认端口号（如HTTP的默认端口号是80）。

【4】路径（Path）：路径指定了服务器上资源的具体位置。它以正斜杠（/）开头，可以包含多个目录层次和文件名。

【5】查询字符串（Query）：查询字符串是可选的，用于向服务器传递参数。它以问号（?）开始，并以键值对的形式出现，每对之间使用&符号分隔。

【6】片段标识（Fragment）：片段标识也是可选的，用于指定资源中的特定片段或锚点。它以井号（#）开始，后面跟着片段标识符。我们常见