网络爬虫是一种自动化程序,用于从互联网上收集信息。它可以访问网页,并提取所需的数据,如文本、图像和链接。在本文中,我将向您展示如何使用Python编写一个简单的网络爬虫,以获取网页上的文本内容。
首先,我们需要安装Python的requests库,它是一个常用的HTTP请求库,可以用于向网站发送请求并获取响应。您可以使用以下命令在命令行中安装requests库:
pip install requests
安装完成后,我们可以开始编写代码。以下是一个简单的示例,演示如何使用requests库获取网页内容:
import requests
# 发送HTTP GET请求
response = requests.get('https://www.example.com')