python三方库之BeautifuSoup

原创于 2017-03-28 22:22:30 发布 · 514 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

66 篇文章

订阅专栏

本文介绍了一个流行的HTML文档解析库BeautifulSoup4的安装及基本用法，通过实例演示了如何使用该库来抓取网页上的链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

html文档解析的三方库beautifulsoup4

什么是beautifulsoup?

学习资源：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

1.安装

pip install beautifulsoup4

2.使用

至少要对html有一定的了解。

from bs4 import BeautifulSoup

举例：获取一个页面中的所有链接

def get_link(url="http://www.zhihu.com"):
    hrefs = []
    html = urllib2.urlopen(url=url).read()
    soup = BeautifulSoup(html, "html.parser")
    for link in soup.find_all('a'):
        href = link.get('href')
        if not href.startswith('http'):
            href = url + href
        hrefs.append(href)
    return hrefs