利用定向网络爬虫爬取豆瓣电影top250【Python】

原创

已于 2022-01-21 02:14:09 修改 · 2.7k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#网络爬虫 #豆瓣 #电影top250

于 2019-07-07 08:07:28 首次发布

最近在外地实习，闲来无事学了一下requests库和BeautifulSoup，掌握基本用法之后试着爬取了一下豆瓣电影top250，中间也参考了不少其他大佬的博客，所以最后写出来的代码也都大同小异吧，就当聊以自慰了。

简介

利用requests库和bs4中的BeautifulSoup，实现对豆瓣电影top250的爬取，最后将电影信息写入一个文本文件中。

代码如下

'''
@Author     : Guo Yingwei
@Date       : 2019-07-06 18:10:29
@E-mail     : willgyw@126.com
@Description: crawl douban Movies Top250 ,
              and write the information to a file. 
'''

import requests
from bs4 import BeautifulSoup
import codecs


def get_page(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ''
    
def parse_html(html, return_list):
    soup = BeautifulSoup(html, 'html.parser')    
    movie_list = soup.find('ol', attrs={
   
   'class': 'grid_view'}).find_all(