【Python学习】网络爬虫-爬取豆瓣电影评论

一、实现目标

        编写一个爬虫，获取豆瓣网站上“庆余年 第二季”这部电视剧的短评，网站如下：

# https://movie.douban.com/subject/34937650/comments?sort=new_score&status=P #

二、实现步骤

        我们在 Google Chrome浏览器中复制粘贴下面的链接，先看看网页内容，打开网页后可以看到，《庆余年 第二季》这部电视剧的相关短评，就在标注的红色方框内。这就是我们今天要获取的内容。

        想要获取网页中的短评，首先要获取网页 HTML 代码，再把短评从中提取出来。

2.1 获取网页源码

        获取网页中的 HTML 代码，我们可以使用 requests 模块的 get 方法来实现。

# 使用import导入requests模块
import requests

# 将豆瓣电影评论URL地址，赋值给变量url
url = "https://movie.douban.co