python正则表达式爬取网页

最新推荐文章于 2025-05-17 11:31:40 发布

原创

最新推荐文章于 2025-05-17 11:31:40 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Python的requests库向网站发送请求，并结合正则表达式抓取网页内容。首先，展示了向https://www.baidu.com/发送请求并输出结果的过程。接着，讨论了在请求头中添加伪装以防止被网站阻止的重要性。然后，简要提及了正则表达式的基础知识，并给出了相关资源链接。最后，以爬取豆瓣Top250电影为例，演示了如何抓取名次、影片名称、年份和导演等信息。在实践中遇到了断网时无法获取状态码的问题，该问题尚未解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 使用 requests 向https://www.baidu.com/发出一个请求并输出结果

if __name__ == '__main__':
    url = 'https://www.baidu.com'
    r = requests.get(url)
    r.encoding = r.apparent_encoding
    print(r.status_code)
    with open('baidu.txt', 'w') as f:
        f.write(r.text)

输出的状态结果：
在这里插入图片描述
获取到的内容：

可以知道使用request获取到的内容是该网页的html的内容

2.请求头

某些时候使用python进行爬取网站的数据，可能会被网站阻止，此时需要添加请求头来进行模拟伪装。
添加请求头只需要给headers传递一个dict参数即可
如：

url = 'xxxxx'
headers = 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'
r = request(url, headers = headers)