网络开始替你做决定，这事真的有点不对劲

原创于 2025-12-17 11:48:50 发布 · 241 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#网络 #timeout #爬虫 #网络状态 #亿牛云 #爬虫代理 #代理IP

爬虫代理同时被 3 个专栏收录

383 篇文章

订阅专栏

python

263 篇文章

订阅专栏

代理IP

260 篇文章

订阅专栏

一开始，我也觉得这事挺离谱的。

网络嘛，不就是发请求、收响应？
最多加个代理、配个 timeout。

但后来你会发现一件很微妙的事：

你越来越多的代码，根本不是在“写业务”，
而是在安抚网络的情绪。

这时候你心里一定会冒出一个疑问：

网络层开始参与决策，是不是有点过头了？

有些系统，从来不需要这个问题

如果你做的是：

小规模爬虫
请求不多
目标站点挺配合
代理只是备用

那说实话，网络就该是个黑盒。

请求能发出去，
响应能回来，
就够了。

你甚至可以都不用关心“网络状态”这四个字。

但问题是：很多系统不是这样死的

真正让人难受的，不是直接挂掉。

而是这种状态：

没报错
没崩
CPU 很闲
内存很正常

可任务就是越来越慢。

你重启一下，快一会儿；
过几个小时，又慢回去。

日志看不出问题，
监控也说“一切健康”。

这时候你就会开始怀疑人生。

你以为你在调性能，其实你在延长等待

大多数人的第一反应都差不多：

并发太高？降一点
超时太短？拉长
线程不够？多开几个
要不换异步？

这些操作，有个共同点：

它们都在“等得更久”，而不是“少等点没意义的东西”。

而那些没意义的等待，
十有八九，都卡在网络层。

网络这个“黑盒”，其实问题挺大的

以前我们总觉得：

网络不稳定，没办法。

但后来才意识到，不是“没办法”，
而是我们根本没听它在说什么。

比如说：

DNS 慢
代理出口被限速
目标站点在拖你时间

在系统眼里，它们长得一模一样：

timeout

于是所有失败，都被一视同仁。

这就很危险了。

有一刻你会意识到：请求不只是“成或败”

真正的转折点，是你第一次意识到：

失败也有“性格”。

有的失败是偶发的，
有的失败是结构性的，
有的失败，等多久都没用。

如果系统分不清这些，那它只能一直赌运气。

所以我们做了一件以前觉得很“重”的事

我们让网络，开始反馈它的状态。

不是为了炫技，
也不是为了“搞复杂架构”。

只是因为系统已经被拖得受不了了。

代码其实没多复杂，只是态度变了

代理配置还是那样（亿牛云示例）：

YINIU_PROXY = {
    "http": "http://用户名:密码@域名:端口",
    "https": "http://用户名:密码@域名:端口"
}

关键变化在于：
请求不再只返回数据。

import requests
import time

def fetch(url):
    start = time.time()

    try:
        resp = requests.get(
            url,
            proxies=YINIU_PROXY,
            timeout=(3, 6)
        )

        return {
            "data": resp.text,
            "network": {
                "status": "ok",
                "latency": time.time() - start,
                "code": resp.status_code
            }
        }

    except requests.exceptions.ConnectTimeout:
        return {
            "data": None,
            "network": {"status": "connect_timeout"}
        }

    except requests.exceptions.ReadTimeout:
        return {
            "data": None,
            "network": {"status": "read_timeout"}
        }

这一点看起来不起眼，
但它让系统第一次知道：

“我刚才是怎么失败的。”

调度层终于不用“蒙着眼睛走路”了

def handle(url):
    result = fetch(url)
    net = result["network"]

    if net["status"] == "ok":
        if net["latency"] > 5:
            # 心里有数：这个代理有点慢
            pass
        return result["data"]

    if net["status"] in ("connect_timeout", "read_timeout"):
        # 别犹豫，赶紧放弃
        return None