[超详细] Python3爬取豆瓣影评、去停用词、词云图、评论关键词绘图处理

最新推荐文章于 2023-12-23 15:58:59 发布

原创

最新推荐文章于 2023-12-23 15:58:59 发布 · 4.4k 阅读

64 ·

CC 4.0 BY-SA版权

文章标签：

#Python #爬虫 #词云图 #豆瓣影评

本文详细介绍了如何使用Python3爬取《大侦探皮卡丘》的豆瓣影评，通过正则表达式解析网页，抓取评论内容。接着，对评论进行分词处理，包括不分词、jieba分词和结巴分词并去除停用词，生成词云图。最后，提取前20个评论关键词进行分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取豆瓣电影《大侦探皮卡丘》的影评，并做词云图和关键词绘图
第一步：找到评论的网页url。
https://movie.douban.com/subject/26835471/comments?start=0&limit=20&sort=new_score&status=P
第二步：鼠标放在评论上右键检查，分析源代码，确定抓取的内容。

 <span class="short">萌就行了！这个世界观感觉梦想成真了！</span>

如上，只要抓取该标签下的文本就好，这里可以用正则表达式，里面的文本内容用(.*?)抓取。

第三步：观察分页情况。
点击下一页，发现链接变为：
https://movie.douban.com/subject/26835471/comments?start=20&limit=20&sort=new_score&status=P
发现只有start=后面的数字改变，每页20条评论，每页*20即可

导入模块

这些模块可在cmd下输入pip install 模块名，或者pycharm中setting-Project Interpreter里右边的+号安装

import requests
import re
from wordcloud import WordCloud
import jieba
from PIL import Image
import jieba.analys
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl

1、用requests获取url

因为爬虫次数较多可能IP被封，所以找了个代理IP，参数里习惯性加上headers伪装成浏览器访问。

def getHtml(url):
	# 获取url页面
	headers = {
   
   
		'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36'}
	proxies = {
   
   'http': '61.135.217.7:80'}
	response = requests.get(url, headers=headers, proxies=proxies)
	response.encoding = 'utf-8'
	return response.text

2、用正则解析网页，提取文本，返回评论列表

def getComment(url):
	# 用正则提取评论文本，返回一个列表
	html = getHtml(url) #调用上一个函数
	comments = re.findall('<span class="short">(.*?)</span>', html, re.S)  # re.S记得加上，空字符串
	onepageComments = []  # 创建一个空列表，存放评论
	#用正则表达式解析出来的是一个列表，遍历列表，将每一个评论取出，添加到空列表里，每个评论后面换行
	for i in comments:
		onepageComments.append(<