Python爬虫——入门

最新推荐文章于 2025-04-11 12:05:25 发布

A rctic

最新推荐文章于 2025-04-11 12:05:25 发布

阅读量167

点赞数

文章标签： python 爬虫开发语言

本文链接：https://blog.youkuaiyun.com/X_P_LI/article/details/120068895

版权

该文介绍了Python入门爬虫时如何使用request库进行HTTP请求，包括urlopen函数的使用来获取网页响应，并展示了GET和POST请求的区别。此外，还提及了正则表达式在解析网页数据中的应用，如find_all和find方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python爬虫——入门

request入门

request入门

了解request库，urlopen包（一般情况下，他的英语意思就是这个的功能了）

url= "http://www.baidu.com"   
resp=urlopen(url)    //打开这个网址，获得一个resp的响应
with open("hell.html",mode="w") as f:   //相当于新建一个hell的网页，
    f.write(resp.read().decode("utf-8"))		//将响应得到的东西，写入f中，代码形式为utf-8
print("over")
``

## get和post的用法 
get请求和post请求
在源代码中有标识，
post请求用字典
get请求用param
param是应用？后面的内容，由五部分组成。
headers装的是许可证，反爬的解决方法


## 正则表达式
![](https://img-blog.csdnimg.cn/7852fc62561844348695f7acd4e698ee.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAQSByY3RpYw==,size_20,color_FFFFFF,t_70,g_se,x_16)
 正则表达式 :(r/^开始$结束。re.S)
 find_all:匹配全部
 find:匹配一个