爬取豆瓣电影正在上映的电影，将爬取下的内容保存到mysql中

最新推荐文章于 2021-02-04 13:15:32 发布

wg5foc08

最新推荐文章于 2021-02-04 13:15:32 发布

阅读量516

点赞数

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/wg5foc08/article/details/96983430

版权

这篇实战教程介绍了如何运用XPath解析技术抓取豆瓣电影网站上的正在上映电影信息，并详细讲解了如何将获取的数据存储到MySQL数据库中，以提升对XPath和数据库操作的实践能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本实战主要是为了进一步熟悉xpath的使用，再者就是将数据保存到Mysql数据库中，学习使用Mysql.

import pymysql
import requests
from lxml import etree
#创建数据库
def connectDB():
#在此处我的数据库密码password为空，如果用到此代码需要将password设置为自己的密码
    db  = pymysql.connect(host = 'localhost',user = 'root',password = None, port = 3306)
    cursor = db.cursor()
    cursor.execute("CREATE DATABASE newmovie DEFAULT CHARACTER SET utf8")
    db.close()
#创建表
def createTable():
    createTableSql = 'CREATE TABLE IF NOT EXISTS newmovies (title VARCHAR(255)NOT NULL ,src VARCHAR(255)NOT NULL ,score DECIMAL NOT NULL)'
    db = pymysql.connect(host = 'localhost',user = 'root',password = None, port = 3306,db = 'newmovie')
    cursor_create = db.cursor()
    cursor_create.execute(createTableSql)
    db.close()
    print('create table' + 'newmovie' + 'successfully')
def crawl_html():