牛刀小试:利用Python分析豆瓣电影Top250（一）

使用Scrapy框架抓取豆瓣电影TOP250信息（https://movie.douban.com/top250).

获取影片信息后对数据进行清洗，手动填补遗漏的电影信息等。

整理完毕后具体信息如下

• Rank:排名(1-250)
• title:电影片名
• Score:得分（0-10）
• MovieTypes:影片类型
• Year:上映时间
• Last:影片时长
• CountryOrRegion:制片国家或地区
• Votes:参与投票人数
• Direction:导演
• ScreenWriter:编剧
• Actors:主要演员
• Comment:一句话评价
• OriginalTitle:电影的原始片名
• Url:影片对应的链接

# Author : CuiCheng
# Created: 2017-10-03
# E-mail: cuic@lreis.ac.cn

import pandas as pd
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap
# 指定作图的风格
plt.style.use('seaborn')
# 支持中文字符和负号
plt.rcParams['font.sans-serif'] = 'Microsoft YaHei'
plt.rcParams['axes.unicode_minus'] = False

filepath = './doubanMovies.xlsx'
movies = pd.read_excel(filepath)
# 查看记录数和字段数
print(movies.shape)

(250, 14)

# 具体查看某一条电影的信息
movies.iloc[10]

Rank                                                      11
Title                                                  海上钢琴师
Score                                                    9.2
MovieTypes                                             剧情 音乐
Year                                                    1998
Last                                                     165
CountryOrRegion                                          意大利
Votes                                                 597778
OriginalTitle           La leggenda del pianista sull'oceano
Direction                                           朱塞佩·托纳多雷
ScreenWriter                              亚利桑德罗·巴里克 朱塞佩·托纳多雷
Actors               蒂姆·罗斯 普路特·泰勒·文斯 比尔·努恩 梅兰尼·蒂埃里 阿尔贝托·巴斯克斯
Comment                            每个人都要走一条自己坚定了的路，就算是粉身碎骨。 
Url                https://movie.douban.com/subject/1292001/
Name: 10, dtype: object

电影评分

fig, ax = plt.subplots(figsize=(9,9))
n,bins,pathces=ax.hist(movies['Score'],bins=7,facecolor='g',alpha=0.7)
ax.set_xticks(np.linspace(8,10,11))
ax.set_ylim(ymax=90)
ax.set_yticklabels(np.arange(0,91,10),size=14)
ax.set_xticklabels(np.linspace(8,10,11),size=14)
for i in range(len(n)): 
    ax.text(bins[i]+0.1,n[i]+2,int(n[i]),fontsize=13,horizontalalignment='center')
ax.set_xlabel('评  分',fontsize=17)
ax.set_ylabel('数  量',fontsize=17)
title='影片评分直方图'
ax.set_title(title,fontsize=20)
fig.savefig(title)
plt.show()

果不其然，入选豆瓣电影TOP250的评分都高达8分以上，整体质量很高。