beatifulsoup使用的总结

最新推荐文章于 2022-02-06 10:07:49 发布

YOYO__2018

最新推荐文章于 2022-02-06 10:07:49 发布

阅读量773

点赞数

CC 4.0 BY-SA版权

分类专栏：经验文章标签： beatifulsoup

本文链接：https://blog.youkuaiyun.com/wu0che28/article/details/82792113

经验专栏收录该内容

54 篇文章

订阅专栏

本文详细介绍了如何使用BeautifulSoup库进行网页数据抓取与解析，包括find_all、find等方法的具体应用，以及如何通过属性筛选目标元素，适用于前端开发与爬虫技术的学习者。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

find_all使用:

 item['imgs'] = [i.img.attrs['src'] for i in content.find_all('div', attrs={
                    'class': 'AdaptiveMedia-photoContainer js-adaptive-photo '})]

soup按照id找节点

p=soup.find("div",{'id':'timeline'})

子节点:直接 "."可取子节点

 [i.img.attrs['src'] for i in content.find_all('div', attrs={
                    'class': 'AdaptiveMedia-photoContainer js-adaptive-photo '})]

children使用

profile = soup.find('div', attrs={'class', 'ProfileHeaderCard'}).children
        key_list = []
        value_list = []
        for son in profile:
            if isinstance(son, bs4.element.Tag):
                k = son.attrs['class'][0].replace('ProfileHeader', '').replace('Card-', '')
                # print k
                key_list.append(k)
                v = son.get_text().strip()
                # print v
                value_list.append(v)
        item = dict(map(lambda x, y: [x, y], key_list[:-1], value_list[:-1]))

按照class查找不到元素的时候,试试在class名的后面加一个空格,会有意外收获