Python 网络爬虫

原创

已于 2022-03-19 15:38:28 修改 · 173 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #python

于 2022-03-19 15:36:55 首次发布

这篇博客介绍了如何使用Python进行网络爬虫。首先，通过`urllib`和`request`库获取网页内容，并设置请求头。然后，利用正则表达式`re`解析HTML，提取所需数据。博客还展示了面向对象的爬虫实现，定义了`tieba`类，包含下载页面、解析页面和显示内容的方法。

1. 确定 URL
from urllib import request
import re
#定义url
page=50
url="https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn="+str(page)
2.添加headers并抓取页面代码
try:
    #定义请求头
    headrs={"User-Agent":" Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"}
    #定义请求，传入请求头
    req=request.Request(url,headers=headrs)
    #打开网页
    resp=request.urlopen(req)
    #打印响应码，解码
    # print(resp.read().decode('utf-8'))

3. 使用正则表达式提取某一页的所有段子