一个简单的Python爬虫案例代码

一个简单的Python爬虫案例代码。这个例子使用了requests库来获取网页内容，并使用BeautifulSoup库来解析HTML文档，提取所需信息。如果你还没有安装这两个库，可以通过运行pip install requests beautifulsoup4来安装它们。

以下是一个简单的爬虫示例，它会抓取一个指定网页的所有标题（假设标题都在<h2>标签中）：

import requests
from bs4 import BeautifulSoup

def fetch_titles(url):
    try:
        # 发送HTTP请求
        response = requests.get(url)
        # 检查请求是否成功
        if response.status_code == 200:
            # 使用BeautifulSoup解析HTML文档
            soup = BeautifulSoup(response.text, 'html.parser')
            # 查找所有<h2>标签
            titles = soup.find_all('h2')
            # 打印每个标题的文本
            for title in titles:
                print(title.get_text())
        else:
            print(f"Failed to retrieve the webpage. Status code: {response.status_code}")
    except Exception as e:
        print(f"An error occurred: {e}")

# 要爬取的网页URL
url = "https://example.com"
fetch_titles(url)

这段代码定义了一个名为fetch_titles的函数，该函数接受一个URL作为参数，然后发送请求获取网页内容。如果请求成功，它将使用BeautifulSoup解析返回的HTML，并查找所有的<h2>标签。最后，它会打印出每个找到的标题文本。

请注意，实际使用时需要根据目标网站的具体结构调整选择器（例如<h2>标签），以准确地提取你想要的信息。此外，进行网络爬虫活动时，请务必遵守目标网站的robots.txt规则和相关法律法规。