爬虫笔记：爬豆瓣AttributeError: 'NoneType' object has no attribute 'find_all'

最新推荐文章于 2024-01-09 12:17:18 发布

原创

最新推荐文章于 2024-01-09 12:17:18 发布 · 4.3k 阅读

16 ·

CC 4.0 BY-SA版权

在爬取豆瓣网站时遇到问题，当尝试使用find_all方法解析网页源代码时，出现'NoneType' object has no attribute 'find_all'的错误。该错误可能由于网站的反爬策略导致无法正常获取内容。解决方案是将请求的网页保存至本地后再进行解析，以规避实时请求可能遇到的问题。

代码

import requests
from bs4 import BeautifulSoup

#请求网页
url = "https://movie.douban.com/cinema/later/zhongshan/"
response = requests.get(url)

# 解析网页
# 初始化BeautifulSoup方法：利用网页字符串自带的编码信息解析网页
soup = BeautifulSoup(response.content.decode('utf-8'), 'lxml')
all_movies = soup.find('div', id="showing-soon") 
for each_movie in all_movies.find_all('div', class_="item"):  
    all_a_tag = each_movie.find_all('a')
    all_li_tag = each_movie.find_all('li')
    movie_name = all_a_tag