新手第一次使用python爬取豆瓣电影top250遇到的错误

最新推荐文章于 2022-01-23 11:44:09 发布

ywqqjw

最新推荐文章于 2022-01-23 11:44:09 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python爬虫

本文链接：https://blog.youkuaiyun.com/yawdd/article/details/79505226

本文分享了新手使用Python爬虫时遇到的两个常见问题：1) bs4库找不到html.parse树构建器，解决方法是确保正确引用解析器；2) TypeError涉及到NoneType对象长度，原因是代码逻辑错误导致None值。通过这些经验教训，作者提醒开发者写代码时要细心。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

详细解析请参考 http://blog.youkuaiyun.com/linzch3/article/details/62444947

我在这里就讲一些自己遇到的问题

１.bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: html.parse. Do you need to install a parser library?

一开始只是以为是有些相关的包没有安装，然后尝试了重装了bs4,还是不行，然后还是仔细检查了一下代码...发现错误！

soup = BeautifulSoup(html, 'html.parser')

这一行中，html.parser应该加上双引号，调用的参数形式不正确。还有不少地方也是相似的错误，在这里就不一一列举了。

2.TypeError: object of type 'NoneType' has no len()

检查代码发现没有地方有len()函数，各种百度相似的问题，发现没有什么类似情况出现。然后想了想可能也是代码哪里还有错误没有发现。然后在检查代码时看到

try:
    if(k==0):
        kw = {}
    else:
        kw={
 
 'start':k,'filter':' '}
    r = requests.get(url, params=kw, headers={
 
 'User-agent':'Mozilla/4.0'})
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text
except: