02. 爬虫之bs4模块

一、爬取汽车之家新闻

# request模块（发送请求）+bs4（解析html的模块）
# 汽车之家为例

# 环境依赖
- pip3 install beautifulsoup4
- pip3 install lxml

import pymysql
import requests
from bs4 import BeautifulSoup
res=requests.get('https://www.autohome.com.cn/news/1/#liststart')
print(res.text)

# 类实例化(第一个参数，要解析的html内容，第二个参数是使用的解析器)
# html.parser :bs4的内置解析器
# lxml        ：额外装lxml（快）
# soup=BeautifulSoup(res.text,'html.parser')
soup=BeautifulSoup(res.text,'lxml')
conn=pymysql.Connect(host='127.0.0.1', user='root', password="123",database='qc', port=3306)
cursour=conn.cursor()

# find: 找一个
# find_all: 找所有
# 因为class是关键字，所以使用class_
ul_list=soup.find_all(name='ul',class_='article')
for ul in ul_list:
    li_list=ul.find_all('li')
    for li in li_list:
        h3=li.find('h3')
        if h3:
            # 取出h3标签的文本内容
            title=h3.text
            desc=li.find