python学习爬取豆瓣电影名称及评分

Python爬虫实践：抓取豆瓣电影名称与评分

最新推荐文章于 2024-05-02 07:00:29 发布

原创

最新推荐文章于 2024-05-02 07:00:29 发布 · 3.1k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #豆瓣 #url

本文介绍了使用Python进行网络爬虫的基本步骤，通过实例演示如何爬取豆瓣电影网站上的电影名称和评分，从而掌握HTTP请求、解析HTML及数据存储等核心技术。

import requests
from bs4 import BeautifulSoup
import bs4
import re
def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""


def fillUnivList(ulist,rlist,html):
    count=0
    soup