爬虫高级应用01——准备知识和urlib库

最新推荐文章于 2025-03-07 21:25:25 发布

清平乐的技术博客

最新推荐文章于 2025-03-07 21:25:25 发布

阅读量460

点赞数

CC 4.0 BY-SA版权

分类专栏： Python高级应用

本文链接：https://blog.youkuaiyun.com/ZZQHELLO2018/article/details/83385797

Python高级应用专栏收录该内容

56 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了HTTP的基本原理，包括URI和URL、超文本、HTTP和HTTPS，以及HTTP请求过程。接着讲解了Python的urllib库，如何设置超时时间、请求头和参数，以及异常处理。最后探讨了使用爬虫下载图片的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫就是获取网页并提取和保存信息的自动化程序

一.HTTP

1.HTTP基本原理

URI和URL

URI (Uniform Resource Identifier) 统一资源标志符
URL(Universal Resource Locator) 统一资源定位符
URL是URI的子集， URI还包括⼀一个⼦子类URN (Universal Resource Name) 统⼀一资源名称，URN
只命名资源不不指定如何定位资源。

超文本 (hypertext)
网页源代码，html代码
查看源代码工具和方法
HTTP和HTTPS
HTTP (Hyper Text Transfer Protocol)
超文本传输协议
HTTPS (Hyper Text Transfer Protocol over Secure Socket Layer)
HTTP加入SSL层，传输内容通过SSL加密
安全通道保证数据传输安全
确认网站真实性