python——爬虫基础

最新推荐文章于 2022-04-28 22:07:13 发布

丶蓝色

最新推荐文章于 2022-04-28 22:07:13 发布

阅读量1.3k

点赞数 3

本文链接：https://blog.youkuaiyun.com/lanse_l/article/details/85883593

版权

本文深入讲解了爬虫的基本原理，包括模拟HTTP请求、获取HTML页面、数据分析及数据存储等关键步骤，并通过爬取豆瓣电影评分前250名的实例，展示了如何使用Python的urllib.request、Requests库进行网页抓取，利用BeautifulSoup解析HTML，最后将数据存储到MySQL数据库中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫的基本原理：

（1）模拟http请求，请求发送到目标网址

a)urllib.request urlopen( url )

b)Requests 可以定制Header 有些网站有反爬虫机制，要模仿浏览器发送请求

（2）获取html页面

read()

（3）数据分析——从海量的数据提取需要的部分

a)正则表达式

b)字符串拼接

c)BeautifulSoup

（4）数据存储——存储到文件，数据库，打印输出等

#############实例#############################

爬取豆瓣评分最高的250部电影

url = "https://movie.douban.com/top250"

首先模拟http请求，请求发送到目标网址 ,获取html页面

def get_html(url):
    res = urllib.request.urlopen(url)
    html = res.read().decode()
    return html

数据分析——从海量的数据提取需要的部分

def parse_html(htmlfile):
    mysoup = BeautifulSoup(htmlfile,"html.parser")
    movie_zone = mysoup.find('ol')    #获取ol标签里面的内容
    movie_list = movie_zone.findAll('li')  #获取所有的li标签，返回一个可迭代的对象
    for movie in movie_list:    
        #获取class为title的span标签里面的内容
        movie_name = movie.find('span',attrs={'class':'title'}).getText()
        movielist.append(movie_name)
    #获取下一页
    nextPage = mysoup.find('span',attrs={'class':'next'}).find('a')
    if nextPage:
        global douban
        new_page = douban + nextPage['href']
        parse_html(get_html(new_page))

数据存储——保存到本地的MySQL数据库

def save_data(movielist):
    conn = pymysql.connect('localhost','root','lanse0305*','douban_top250')
    cursor = conn.cursor()
    sql = "insert into info value(%s,%s)"
    for i in range(len(movielist)):
        cursor.execute(sql,(i+1,movielist[i]))
    conn.commit()
    cursor.close()
    conn.close()

执行结果: