爬虫实践---豆瓣短评+词云分析

原创

于 2017-09-08 16:21:48 发布 · 1.5k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#词云 #stopwords #战狼2

本文介绍了一次爬虫实践，通过爬取《战狼2》的豆瓣短评并进行词云分析。首先，利用requests库获取电影页面和评论链接，处理中文乱码问题。接着，设置超时重连机制确保爬取稳定性。然后，进行了分词处理，推荐了DroidSansFallbackFull.ttf字体以适应Deepin系统，并提到了可用的分词包。最后，推荐了一个在线词云制作工具，可以自定义图案，但前提是对评论进行有效分词。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

电影页面：

https://movie.douban.com/subject/26363254

热评：

第一页：https://movie.douban.com/subject/26363254/comments?start=0&limit=20&sort=new_score&status=P

第n页：https://movie.douban.com/subject/26363254/comments?start=20*(n-1)&limit=20&sort=new_score&status=P

中文乱码了，查看当前网页的编码格式：

print requests.get(url).encoding

然后手动设置网页编码格式：

r.encoding = 'utf-8'

获取全部短评数量：

total_num = soup.find('li', class_="is-active").span.text.strip()
    total_num = int(total_num[3:-1])
    page_num = total_num / 20
    last_num = total_num % 20

多线程

pool = ThreadPool(20)
    #pool = multiprocessing.Pool(multiprocessing.cpu_count())#import multiprocessing
    pool.map(get_content,(url for url in urls))#映射到主函数中进行循环
    pool.close()
    pool.join()

# 设置等待时间，避免爬取太快
import time
# 用于在超时的时候抛出异常，便于捕获重连
import socket
timeout = 3
socket.setdefaulttimeout(timeout)

# 超时重连
state = False
while not state:
try:
html = get_html(url)
sta