weixin_60758606的博客

原创 爬取网页内容(以爬取豆瓣top250榜单为例)

#引用包 import requests #因为一页有25部电影，所以有10页，页差距为25 page_indexs = range(0, 250, 25) #爬取函数 def download_all_htmls(): """ 下载所有列表页面的HTML，用于后续的分析 """ htmls = [] for idx in page_indexs: url = f"https://movie.douban.com/top2...