爬虫笔记：爬豆瓣AttributeError: 'NoneType' object has no attribute 'find_all'

夜殤

于 2019-12-24 15:34:56 发布

阅读量4.3k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/weixin_42554337/article/details/103683235

在爬取豆瓣网站时遇到问题，当尝试使用find_all方法解析网页源代码时，出现'NoneType' object has no attribute 'find_all'的错误。该错误可能由于网站的反爬策略导致无法正常获取内容。解决方案是将请求的网页保存至本地后再进行解析，以规避实时请求可能遇到的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码

import requests
from bs4 import BeautifulSoup

#请求网页
url = "https://movie.douban.com/cinema/later/zhongshan/"
response = requests.get(url)

# 解析网页
# 初始化BeautifulSoup方法：利用网页字符串自带的编码信息解析网页
soup = BeautifulSoup(response.content.decode('utf-8'), 'lxml')
all_movies = soup.find('div', id="showing-soon") 
for each_movie in all_movies.find_all('div', class_="item"):  
    all_a_tag = each_movie.find_all('a')
    all_li_tag = each_movie.find_all('li')
    movie_name = all_a_tag[</