爬取豆瓣的电影

最新推荐文章于 2024-08-14 11:44:10 发布

原创最新推荐文章于 2024-08-14 11:44:10 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

经历专栏收录该内容

30 篇文章

订阅专栏

本文介绍了一个使用Python爬取豆瓣电影Top250榜单的程序。该程序利用urllib2请求网页并使用BeautifulSoup解析HTML内容，最终将爬取到的数据包括电影排名、名称、英文名和链接保存到本地文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!user/bin/python
#coding:utf-8
from bs4 import BeautifulSoup
import urllib2
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

def get_html(url):

    req = urllib2.urlopen(url).read()
    return req


def handle_html(html):

    soup = BeautifulSoup(html)
    print u'豆瓣电影Top250: 序号 \t影片名\t英文名\t链接地址'

    list1 = []
    for tag in soup.find_all('div', class_="item"):

        m_order = tag.find('em').get_text()
        m_name = tag.find('span').get_text()
        En_name = tag.find_all('span')[1].get_text()
        m_link = tag.a.get('href')
        #print '%s %s %s %s' % (m_order, m_name, En_name, m_link)
        cache = [m_order, m_name, En_name, m_link]
        list1.append(cache)
    return list1

def save_result(result):

    f = open('text.txt', 'wb')
    for res in result:
        count = 0
        for i in res:
            f.write(str(i) + '\t')
            count += 1
            if count == 4:
                f.write('\n')
    f.close()


if __name__ == '__main__':

    url = 'http://movie.douban.com/top250?format=text'
    html = get_html(url)
    result = handle_html(html)
    save_result(result)