PYTHON爬虫爬取豆瓣电影的一周口碑电影排行榜

最新推荐文章于 2023-10-20 15:55:02 发布

Luffykaiyuan

最新推荐文章于 2023-10-20 15:55:02 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python爬虫文章标签： python 爬虫豆瓣电影

本文链接：https://blog.youkuaiyun.com/qq_39476480/article/details/85064972

该博客介绍了如何使用Python进行爬虫开发，抓取豆瓣电影一周的口碑排行榜，并将数据存储到MySQL数据库。进一步，作者升级了功能，通过电影ID获取预告片ID，最终实现将预告片链接展示在HTML页面上。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码前准备：
1.使用Eclipse进行开发，关于eclipse搭建python的环境见：https://www.cnblogs.com/telwanggs/p/7016803.html
2.使用bs4的BeautifulSoup
3.使用MySQL for Python连接数据库。
4.数据库表的设计：数据库设计

一、主函数代码（doubanInsect.py）

import datetime
import pymysql
from douban.ranke_dao import insert_message
from douban.ranke_dao import find_message
from douban.html_outputer import output_html
from bs4 import BeautifulSoup
from pip._vendor import requests

allMovie=[]
connect = pymysql.connect(host='localhost', user='root', password='1111', db='python_class')#这些你的数据库信息，db为数据库名
 
def getHTMLText(url):#获取豆瓣电影网站的h5代码
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""