爬虫 requests中的http和https(检测IP活性)

最新推荐文章于 2022-11-07 21:55:23 发布

一叶知秋乔一

最新推荐文章于 2022-11-07 21:55:23 发布

阅读量798

点赞数

分类专栏： Python 笔记文章标签： python https http

本文链接：https://blog.youkuaiyun.com/pxyyoona/article/details/113731257

版权

在构建IP代理池的过程中，遇到一个问题：对于HTTP网站，必须使用'https'作为requests的代理才能检测到代理IP的活性；而针对HTTPS网站，则需要使用'http'。本文通过示例代码展示了如何检测代理IP的可用性，并打印出有效和无效的代理IP。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 这几天在写ip代理池的时候遇到个问题，凡是http的网站requests的代理要写成https才可以检测出代理ip的活性，反之，若是https的网站需要requests的代理换成http才可检测出代理IP的活性。
# 测试出可用IP
def ip_text(list, valid_IP):
    try:
        url = "http://lishi.tianqi.com/luoyang/index.html"
        for ip in list:
            try