Python_通过Python查找有效的网址信息

最新推荐文章于 2024-07-20 17:41:01 发布

Tingshuo2009

最新推荐文章于 2024-07-20 17:41:01 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python

本文链接：https://blog.youkuaiyun.com/Tingshuo2009/article/details/106269223

本文介绍如何使用Python的requests库检查网址的有效性，以support.apple.com为例，通过改变URL尾部数字获取不同页面，并利用正则表达式提取标题及URL，存储到列表并保存至本地。同时，探讨了Python中的with语句、requests库与urllib.request的区别，以及时间日期格式的相关知识。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用Python的requests库，对网页返回状态码status_code进行判断，确认网址是否有效，以support.apple.com为例，遍历其中的部分网址，例如：

https://support.apple.com/zh-cn/HT210643

https://support.apple.com/zh-cn/HT211147

https://support.apple.com/zh-cn/HT204455

根据以上三个url地址可以看出，只需改变最后的几个数字即可获取到不同的地址。通过正则表达式匹配对应地址中的标题，将标题及对应地址信息存储到列表中，并保存至本地。

使用Python源码如下：

import re
import time
import requests

class GetLinksTitles():

    def links_titles(self):
        links_titles = []
        for i in range(211150, 211185):
            url = "https://support.apple.com/zh-cn/HT" + str(i)
            r = requests.get(url=url)
            if r.status_code == 200:
                html = r.content.decode('utf-8')
                pattern = r'<title lang="zh-CN">(.*?) - Apple 支持</title>'
                title = re.findall(pattern, html)
                links_titles.append(url)
                links_titles.append(title)
                print("地址：%s 标题：%s"%(url, title))
            else:
                print("不存在：%d"%(i))

        return links_titles

    def save_links_titles(self, links_titles):
        file = open('GetLinksTitles' + time.strftime('%Y%m%d%H%M%