Python requests库基础爬取网页信息

最新推荐文章于 2022-05-08 15:50:25 发布

wherehw

最新推荐文章于 2022-05-08 15:50:25 发布

阅读量1.7k

点赞数

本文链接：https://blog.youkuaiyun.com/wherehw/article/details/118963670

版权

本文旨在教授如何使用Python的requests库进行网页爬取和信息获取。通过实例，介绍了如何指定URL发起请求，获取并解析响应数据，以及设置User-Agent以避免被服务器识别为爬虫。此外，还涵盖了创建简易网页搜索引擎的基础步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习目标：

掌握requests库的基本使用方法

学习内容：

1、爬虫的使用方法：
-指定url
-发起响应
-获取响应数据
-持久化存储
2、案例实现

1）百度页面爬取

下面展示一些 内联代码片。

import requests
if __name__=='__main__':
    url='https://www.baidu.com/'#获取百度的url
    
    response=requests.get(url=url)#发起响应
    #获取响应数据
    page_text=response.text
    #持久化存储
    with open('./baidu.html','w',encoding='utf-8') as fp:
        fp.write(page_text)