douban
python抓取豆瓣电影Top250数据并写入Excel
1.将目标网站上的页面抓取下来
2.将抓取下来的数据根据一定的规则进行提取
create table `tb_movie`(
id int(11) primary key auto_increment,
title varchar(255),
score varchar(255),
date varchar(255),
region varchar(255),
category varchar(255),
directorAndActor varchar(255),
quote varchar(255),
thumbnail varchar(255)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : nacker 648959@qq.com
# @Time : 2020/3/4 6:25 下午
# @Site :
# @File : douban.py
# @Software: PyCharm
# 1.将目标网站上的页面抓取下来
# 2.将抓取下来的数据根据一定的规则进行提取
import time
import requests
import xlwt
from lxml import etree
from MysqlHelper import MysqlHelper
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x