Python爬虫示例01：网页数据采集至Excel

Python爬虫示例01：网页数据采集至Excel

---

---

写在前面

使用目的：避免繁琐网页浏览工作，提高工作效率
声明：请勿对任何网站进行过分数据提取

---

一、问题描述

读取某网站的电影链接、图片链接、影片中英文名、评分、评价数、概况、相关信息，汇总至表格

---

二、编程思路

1. 准备工作：导入下面的文件（文件导入如下）

from bs4 import BeautifulSoup           # 网页解析，获取数据
import re                               # 正则表达式，进行文字匹配
import urllib.request, urllib.error     # 制定URL，获取网页数据
import xlwt                             # 进行excel操作
import sqlite3                          # 进行SQLite数据库操作

2. 处理网页数据：通过Bs4将提取的网页信息分割，re正则表达式提取有效信息

# 影片详情链接的规则
findLink = re.compile(r'<a href="(.*?)">')  # 创建正则表达式对象，表示规则（字符串的模式）
# 影片图片
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)  # re.S 让换行符包含在字符中
# 影片片名
findTitle = re.compile(r'<span class="title">(.*)</span>')
# 影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 找到评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
# 找到概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
# 找到影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
def getData(baseurl):
    datalist = []
    for i in range(0, 10):