爬取a 标签的连接

最新推荐文章于 2023-08-02 15:59:29 发布

Py_CCY

最新推荐文章于 2023-08-02 15:59:29 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/Py_CCY/article/details/74105196

本篇博客介绍了一种使用Python的requests库和BeautifulSoup库来抓取网页上的所有a标签链接的方法。通过设置超时时间和状态码检查确保了请求的成功率，并通过apparent_encoding属性正确解析了网页编码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup
try :
    r=requests.get("http://python123.io/ws/demo.html",timeout=30)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    demo=r.text
    soup=BeautifulSoup(demo,'html.parser')
    #找到所有的a 标签
    for link in soup.find_all("a"):
        #打印键值对
        print(link.get('href'))
except:
    print('异常')