python 获取a标签值以及href值，爬取下载地址

最新推荐文章于 2024-05-07 05:21:05 发布

原创最新推荐文章于 2024-05-07 05:21:05 发布 · 6k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#python

Python 同时被 2 个专栏收录

16 篇文章

订阅专栏

centos

10 篇文章

订阅专栏

本文介绍了一种使用Python的requests库和BeautifulSoup库从Google网站抓取所有带有超链接的a标签的方法。通过发送HTTP请求并解析返回的HTML文档，可以获取到每个链接的文本和URL，最终将链接的文本和完整的URL打印出来。

部署运行你感兴趣的模型镜像

import requests
from bs4 import BeautifulSoup
####url，titleurl，headers 已修改为Google网站。
url = ‘https://mail.google.com/mail/’
titleurl = ‘www.google.com’
headers = {
‘Host’: ‘www.google.com’,
‘Referer’: ‘https://mail.google.com/mail/u/0/’,
‘User-Agent’: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36}
res = requests.get(url,headers = headers)
res.encoding = ‘utf-8’
html=res.text
soup = BeautifulSoup(html,“html.parser”)
##########查找a标签，
for a in soup.find_all(‘a’, href=True):
if a.get_text(strip=True):
####### 获取href中的值
m=a[‘href’]
#获取a标签的值
l=a.string
n=titleurl
####### 拼接titleurl和href
print(l,n+m)