python定时简单爬取网页新闻存入数据库并发送邮件

本人小白一枚，简单记录下学校作业项目，代码十分简单，主要是对各个库的理解，希望能给别的初学者一点启发。O(∩_∩)O

一、项目要求

1、程序可以从北京工业大学首页上爬取新闻内容：http://www.bjut.edu.cn

2、程序可以将爬取下来的数据写入本地MySQL数据库中。

3、程序可以将爬取下来的数据发送到邮箱。

4、程序可以定时执行。

二、项目分析

1、爬虫部分利用requests库爬取html文本，再利用bs4中的BeaultifulSoup库来解析html文本，提取需要的内容。

2、使用pymysql库连接MySQL数据库，实现建表和插入内容操作。

3、使用smtplib库建立邮箱连接，再使用email库将文本信息加工成邮件消息并发送。

4、使用schedule库实现定时执行该程序。

三、代码分析

1、导入需要的库：

# 爬虫相关模块
import requests
from bs4 import BeautifulSoup
import pymysql

# 发邮件相关模块
import smtplib
from email.mime.text import MIMEText     
from email.header import Header  
import time

# 定时模块
import schedule

2、获取html文件：

# 连接获取html文本
def getHTMLtext(url):
    try:
        headers={
   
                "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36",
           } # 浏览器请求头
        r = requests.get(url, headers = headers, timeout = 30) # 获取连接
        r.raise_for_status() # 测试连接是否成功，若失败则报异常
        r.encoding = r.apparent_encoding # 解析编码
        return r.text
    except:
        return ""

其中必须添加请求头headers否则get请求时会返回错误页面。
raise_for_status()可以根据状态码判断连接对象的状态，如果成功便继续执行，若连接失败则抛出异常，因此利用try-except捕获。
apparent_encoding()方法可以解析判断可能的编码方式。

3、解析html提取数据：

首先观察网页源码确定新闻标签位置：

# 解析html提取数据
def parseHTML(news, html):
    soup = BeautifulSoup(html, "html.parser") # 获取soup
    for i in soup.find(attrs = {
   'class' : 'list'}).find_all('li'): # 存放新闻的li标签
        date = i.p.string + '-' + i.h2.string # 日期
        href = i.a['href'] # 链接
        title = i.find('h1').string # 标题
        content = i.find_all('p')[1].string # 梗概
        news.append([date, href, title, content]) # 添加到列表中

• 可见所有新闻内容全部存放在class为”list”的div标签中，而每条新闻又存放在li标签中，因此利用find和find_all方法遍历所有li标签。

• 每个li标签中a标签的href属性存放新闻链接，h1标签存放新闻标题，h2标签存放日期，第一个p标签存放年、月，第二个p标签存放新闻梗概。依次取出对应标签中的文本内容，并将年月日拼接后依次存入news列表中。

4、存入数据库

# 存入数据库
def toMysql(news):
    conn = pymysql