#!/usr/bin/env python3
"""
🐉 龍魂·蜘蛛网 — 代理池管理器
============================================
自动获取免费代理 → 验证可用性 → 轮换使用 → 标记失效
DNA: #龍芯⚡️2026-07-07-SPIDER-NET-PROXY-v1.0
支持:
- 多源免费代理采集(89ip / kuaidaili / proxylist)
- 并发验证(最多 20 线程)
- 加权轮换(成功率高优先)
- 自动清理过期代理
"""
import json
import random
import threading
import time
from concurrent.futures import ThreadPoolExecutor, as_completed
from datetime import datetime, timezone
from pathlib import Path
from typing import Any, Dict, List, Optional, Set, Tuple
from urllib.parse import urlparse
import requests
from bs4 import BeautifulSoup
# ── 路径 ────────────────────────────────────────────────
ROOT = Path(__file__).resolve().parents[3]
PROXY_STATE = ROOT / "L7_数据层" / "spider_net_proxy_pool.json"
# ── 常量 ────────────────────────────────────────────────
PROXY_TEST_URL = "https://httpbin.org/ip"
PROXY_TEST_TIMEOUT = 8
PROXY_MAX_LIFETIME = 1800 # 30 分钟过期
PROXY_MIN_COUNT = 5 # 不足时自动补充
VALIDATE_WORKERS = 20
REQUEST_HEADERS = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36",
"Accept": "text/html,application/xhtml+xml",
}
class ProxyPool:
"""代理池管理器。
生命周期:
1. fetch() — 从免费源获取代理
2. validate_all() — 并发验证
3. get_working_proxy() — 获取可用代理
4. mark_failed() — 标记失效
5. prune() — 清理过期
"""
def __init__(self):
self._proxies: Dict[str, Dict[str, Any]] = {} # proxy_url → {score, last_ok, last_fail, fail_count}
self._working: List[str] = [] # 当前可用代理列表
self._failed: Set[str] = set() # 永久失效集合
self._lock = threading.Lock()
self._load_state()
# ── 公共 API ──────────────────────────────────────
def fetch(self) -> List[str]:
"""从多个免费代理源获取代理列表。"""
raw: Set[str] = set()
fetchers = [
self._fetch_89ip,
self._fetch_kuaidaili,
self._fetch_proxylist,
]
for fetcher in fetchers:
try:
new = fetcher()
raw.update(new)
except Exception as e:
print(f" ⚠️ 代理源获取失败: {e}")
# 过滤已失效的
new_proxies = [p for p in raw if p not in self._failed]
print(f" 📡 从 {len(fetchers)} 个源获取 {len(raw)} 个代理,有效 {len(new_proxies)} 个")
# 注册新代理
with self._lock:
for p in new_proxies:
if p not in self._proxies:
self._proxies[p] = {
"score": 1.0,
"last_ok": None,
"last_fail": None,
"fail_count": 0,
"added_at": datetime.now(timezone.utc).isoformat(),
}
return new_proxies
def validate_all(self) -> Tuple[int, int]:
"""并发验证所有代理,返回 (可用, 总数)。"""
with self._lock:
candidates = list(self._proxies.keys())
if not candidates:
return 0, 0
ok_count = 0
with ThreadPoolExecutor(max_workers=VALIDATE_WORKERS) as executor:
futures = {executor.submit(self._test_one, p): p for p in candidates}
for future in as_completed(futures):
proxy = futures[future]
try:
if future.result():
ok_count += 1
except Exception:
pass
# 重建可用列表
with self._lock:
self._working = [
p for p in self._proxies
if self._proxies[p]["fail_count"] == 0
and (time.time() - self._proxies[p].get("_last_ok_ts", 0)) < PROXY_MAX_LIFETIME
]
# 按成功率排序
self._working.sort(
key=lambda p: self._proxies[p].get("score", 1.0), reverse=True
)
self._save_state()
return ok_count, len(candidates)
def get_working_proxy(self) -> Optional[str]:
"""获取一个可用代理(加权随机)。"""
with self._lock:
if not self._working:
return None
# 加权随机:score 高的更优先
weights = [max(0.1, self._proxies[p].get("score", 1.0)) for p in self._working]
total = sum(weights)
if total <= 0:
return random.choice(self._working)
r = random.uniform(0, total)
cum = 0.0
for i, p in enumerate(self._working):
cum += weights[i]
if r <= cum:
return p
return self._working[0]
def mark_success(self, proxy: str) -> None:
"""标记代理使用成功,加分。"""
with self._lock:
if proxy in self._proxies:
entry = self._proxies[proxy]
entry["score"] = min(3.0, entry.get("score", 1.0) + 0.1)
entry["last_ok"] = datetime.now(timezone.utc).isoformat()
entry["_last_ok_ts"] = time.time()
entry["fail_count"] = 0
def mark_failed(self, proxy: str) -> None:
"""标记代理失败,扣分;连续失败 3 次移入永久失效。"""
with self._lock:
if proxy not in self._proxies:
return
entry = self._proxies[proxy]
entry["fail_count"] = entry.get("fail_count", 0) + 1
entry["score"] = max(0.0, entry.get("score", 1.0) - 0.4)
entry["last_fail"] = datetime.now(timezone.utc).isoformat()
if entry["fail_count"] >= 3:
self._failed.add(proxy)
self._proxies.pop(proxy, None)
if proxy in self._working:
self._working.remove(proxy)
def prune(self) -> int:
"""清理过期代理,返回清理数量。"""
now = time.time()
expired: List[str] = []
with self._lock:
for p, entry in list(self._proxies.items()):
last_ok = entry.get("_last_ok_ts", 0)
if last_ok > 0 and (now - last_ok) > PROXY_MAX_LIFETIME:
expired.append(p)
for p in expired:
self._proxies.pop(p, None)
if p in self._working:
self._working.remove(p)
self._save_state()
return len(expired)
def ensure_min_pool(self, min_count: int = PROXY_MIN_COUNT) -> None:
"""确保代理池至少有 min_count 个可用代理。"""
with self._lock:
current = len(self._working)
if current < min_count:
print(f" 🔄 代理池不足 ({current}/{min_count}),自动补充...")
self.fetch()
ok, _ = self.validate_all()
print(f" ✅ 补充后可用: {ok}")
def stats(self) -> Dict[str, Any]:
"""代理池统计。"""
with self._lock:
return {
"total_registered": len(self._proxies),
"working": len(self._working),
"permanently_failed": len(self._failed),
"top_proxies": [
{
"proxy": p[:30] + "...",
"score": round(self._proxies[p].get("score", 0), 2),
"fail_count": self._proxies[p].get("fail_count", 0),
}
for p in self._working[:5]
],
}
# ── 免费代理源 ────────────────────────────────────
@staticmethod
def _fetch_89ip() -> Set[str]:
"""89ip 免费代理(高匿)。"""
proxies: Set[str] = set()
try:
resp = requests.get(
"https://www.89ip.cn/index_1.html",
headers=REQUEST_HEADERS,
timeout=10,
)
soup = BeautifulSoup(resp.text, "lxml")
for row in soup.select("table.layui-table tbody tr"):
cols = row.find_all("td")
if len(cols) >= 2:
ip = cols[0].get_text(strip=True)
port = cols[1].get_text(strip=True)
if ip and port and port.isdigit():
proxies.add(f"http://{ip}:{port}")
except Exception:
pass
return proxies
@staticmethod
def _fetch_kuaidaili() -> Set[str]:
"""快代理免费代理。"""
proxies: Set[str] = set()
try:
resp = requests.get(
"https://www.kuaidaili.com/free/intr/1/",
headers=REQUEST_HEADERS,
timeout=10,
)
soup = BeautifulSoup(resp.text, "lxml")
for row in soup.select("table tbody tr"):
cols = row.find_all("td")
if len(cols) >= 2:
ip = cols[0].get_text(strip=True)
port = cols[1].get_text(strip=True)
if ip and port and port.isdigit():
proxies.add(f"http://{ip}:{port}")
except Exception:
pass
return proxies
@staticmethod
def _fetch_proxylist() -> Set[str]:
"""proxylist.geonode.com API。"""
proxies: Set[str] = set()
try:
resp = requests.get(
"https://proxylist.geonode.com/api/proxy-list?limit=50&page=1&sort_by=lastChecked&sort_type=desc&protocols=http,https&anonymityLevel=elite&anonymityLevel=anonymous",
headers=REQUEST_HEADERS,
timeout=10,
)
data = resp.json()
for item in data.get("data", [])[:50]:
ip = item.get("ip", "")
port = item.get("port", "")
proto = item.get("protocols", ["http"])[0]
if ip and port:
proxies.add(f"{proto}://{ip}:{port}")
except Exception:
pass
return proxies
# ── 内部 ──────────────────────────────────────────
def _test_one(self, proxy: str) -> bool:
"""测试单个代理是否可用。"""
try:
resp = requests.get(
PROXY_TEST_URL,
proxies={"http": proxy, "https": proxy},
timeout=PROXY_TEST_TIMEOUT,
)
if resp.status_code == 200:
self.mark_success(proxy)
return True
except Exception:
pass
self.mark_failed(proxy)
return False
def _save_state(self) -> None:
"""持久化代理池状态。"""
PROXY_STATE.parent.mkdir(parents=True, exist_ok=True)
state = {
"proxies": {
p: {
"score": e.get("score", 1.0),
"fail_count": e.get("fail_count", 0),
"last_ok": e.get("last_ok"),
"last_fail": e.get("last_fail"),
"added_at": e.get("added_at"),
}
for p, e in self._proxies.items()
},
"failed": list(self._failed),
"updated_at": datetime.now(timezone.utc).isoformat(),
}
PROXY_STATE.write_text(json.dumps(state, ensure_ascii=False, indent=2), encoding="utf-8")
def _load_state(self) -> None:
"""从磁盘恢复代理池状态。"""
if not PROXY_STATE.exists():
return
try:
data = json.loads(PROXY_STATE.read_text(encoding="utf-8"))
for p, e in data.get("proxies", {}).items():
self._proxies[p] = {
"score": e.get("score", 1.0),
"fail_count": e.get("fail_count", 0),
"last_ok": e.get("last_ok"),
"last_fail": e.get("last_fail"),
"added_at": e.get("added_at"),
}
self._failed = set(data.get("failed", []))
# 重建 working 列表
now = time.time()
self._working = [
p for p, e in self._proxies.items()
if e.get("fail_count", 0) == 0
and (now - e.get("_last_ok_ts", 0)) < PROXY_MAX_LIFETIME
]
except Exception:
pass
# ═══════════════════════════════════════════════════════════
# CLI 测试
# ═══════════════════════════════════════════════════════════
if __name__ == "__main__":
pool = ProxyPool()
print("🐉 代理池管理器\n")
print("📡 获取代理...")
pool.fetch()
print("🔍 验证代理...")
ok, total = pool.validate_all()
print(f" 可用: {ok}/{total}")
stats = pool.stats()
print(f"\n📊 统计:")
print(f" 注册: {stats['total_registered']}")
print(f" 可用: {stats['working']}")
print(f" 失效: {stats['permanently_failed']}")
print(f"\n🏆 Top 代理:")
for p in stats["top_proxies"]:
print(f" {p['proxy']} (score={p['score']}, fails={p['fail_count']})")
相关推荐
Playwright: Pytest vs Library vs LibraryAsync:三者如何选?
Python中Playwright的3个Target:Pytest(推荐用于E2E自动化测试,支持报告、并行、重试)、Library(同步脚本,适合爬虫与简单任务,需手动管理浏览器)、LibraryAsync(异步脚本,适用于高并发批量操作)。选择依据:测试项目选Pytest,轻量脚本选Library,高并发场景选LibraryAsync。
本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台
本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台
实战避坑:在Ubuntu 22.04上配置NVIDIA GPU Direct RDMA时,必须搞清的P2P DMA与IOMMU那些事
本文深入探讨在Ubuntu 22.04上配置NVIDIA GPU Direct RDMA时P2P DMA与IOMMU的关键问题,解析PCIe架构中的地址转换、P2P DMA与标准DMA的区别,以及IOMMU对性能的影响。通过实战案例和调优建议,帮助用户避免常见配置陷阱,提升AI训练集群的数据传输效率。
【第 009 讲】全面掌握 Python 注释:注释的定义与作用 | 单行注释 | 三引号与多行注释 | 注释使用的最佳实践
本文系统讲解 Python 注释的完整知识体系:从注释的定义与作用讲起,梳理单行注释的书写位置、临时屏蔽用法与 PEP 8 排版规范,剖析注释被忽略的底层机制;进而说明三引号字符串的本质与嵌套问题;最后给出注释使用的三条实践原则,帮助读者写好可读性高的注释。
计算机网络(国家电网)
1.局域网中NOS(网络操作系统)提供的通信服务有工作站与工作站之间的对等通信,工作站与服务器之间的通信2.ISP:Internet服务商应用层 APDU(应用层协议数据单元)表示层 PPDU(表示层协议数据单元)会话层 SPDU(会话层协议数据单元)传输层 segment(报文段)网络层 packet (数据包)数据链路层 frame(数据帧)物理层 bit (比特)4.
Unity URP管线下的Highlight Plus插件,从导入到实现物体高亮的保姆级避坑指南
本文详细解析了在Unity URP管线中使用Highlight Plus插件实现物体高亮的完整流程与常见问题解决方案。从URP环境配置、插件导入避坑到相机设置优化,提供了一套完整的保姆级指南,帮助开发者高效解决高亮效果不显示等典型问题,并包含移动端性能优化与复杂场景管理的高级技巧。
AI全栈实战 | 3.9-01 爬虫入门:requests 加 BeautifulSoup 三分钟跑通,但 90% 的人栽在这 4 个“礼貌“问题上
⚠️:本文内容仅用于。请遵守目标站点的服务条款与相关法律法规,不得对目标服务造成负担,不得采集、传播个人隐私数据。技术是中性的,边界在你手里。爬虫的入门技术(requests 发请求 + BeautifulSoup 解析)三分钟就能学会。真正区分"会用爬虫"和"会做爬虫的人"的,是这篇我们跑通"请求→解析→存储"的最小闭环,然后重点把"合规与礼貌"这根弦给你绷上。
Windows上搭建OpenHarmony星闪开发环境:HiSpark Studio全流程指南
嵌入式开发中,环境搭建是项目启动的关键步骤。OpenHarmony作为开源操作系统,其构建体系依赖Python脚本和GN/Ninja工具链,对版本兼容性要求严格。星闪(NearLink)技术作为新一代短距无线通信方案,在时延、并发和抗干扰方面优势显著,广泛应用于智能家居、工业控制等场景。在Windows平台上,通过HiSpark Studio集成开发工具,开发者可高效完成代码编辑、编译、烧录与调试。然而,Python版本冲突、环境变量配置、驱动签名等问题常导致搭建失败。本文详细拆解从系统准备到编译验证的全流
Python 的 yield from 到底转发了什么:拆开 send、throw 和那个 return 值
很多人把yield from记成「省一层 for 循环的语法糖」。写和写,结果看着一样,于是就当它只是少敲几个字。这个理解会在三个地方翻车:调用方.send()的值送不进去、子生成器return的值拿不到、异常和close()传不下去。yield from真正做的事是,外层生成器退成一个透明通道。本文所有输出来自本机 CPython 3.13.14 实测。yield from不是循环,是委托——nextsendthrowclose四个方向的流量全部直通子生成器,并且子生成器return。
AI时代,程序员何去何从?别慌,看完这篇你就明白了
AI时代程序员的发展方向 摘要:随着AI代码助手的普及,程序员行业面临变革。本文通过实际案例展示AI写代码的能力与局限:AI能生成基础功能代码(如RESTful API、数据处理脚本),但缺乏业务理解、系统设计和复杂逻辑处理能力。程序员的核心价值在于需求分析、架构设计、性能优化等高层能力。未来程序员应: 掌握AI工具提升效率 专注于创新和架构设计 培养业务理解能力 持续学习新技术 AI不会取代程序员,但会淘汰不会使用AI的程序员。建议开发者拥抱AI工具,将其作为助手而非威胁,聚焦高价值工作。
RAP 语义键:让 UUID 世界变得可读、可导航、可校验
RAP 语义键的核心价值与实现要点 语义键(Semantic Key)是 ABAP RAP 模型中连接技术实现与业务体验的关键设计:通过为实体指定一组业务可读的标识字段(如订单号、物料编码等),在保持技术主键(如UUID)不变的同时,显著提升用户界面的可读性和导航体验。 主要优势: 提升UI可读性:Fiori元素会突出显示语义键字段,帮助用户快速识别关键业务数据 改善导航体验:OData URL会使用可读的语义键而非技术ID,便于分享和排查问题 降低沟通成本:业务人员能准确引用有意义的业务标识而非技术ID
从一段视频到可漫游的 4D 有声场景:思路拆解与最小复现手记
只需一段手机视频,你就能生成可"走进去"的 4D 有声场景:转头时狗叫声方向随之变化,走近时声音更清晰。本文拆解 Video-to-4DAVScene 的核心思路,手把手带你用几十行 Python 搭出最小管线,把视频中的运动物体变成带空间位置的声源,并附上三个真实踩坑的排障经验,代码可直接跑。🎧
最小二乘拟合圆:使用拉格朗日乘子法
在本文中,我们将探讨如何使用拉格朗日乘子法来进行最小二乘拟合,并将其应用于拟合一个空间圆。首先,我们需要定义问题。给定一组二维或三维数据点,我们的目标是找到一个圆,使得这些数据点到圆的距离的平方和最小。为了找到最小值,我们需要计算拉格朗日函数的偏导数,并令其等于零。通过解决优化问题,我们可以找到最佳拟合的圆,以最小化数据点到圆的距离的平方和。其中,(x, y) 是圆心的坐标,r 是圆的半径,(xi, yi) 是数据点的坐标。其中,g(x, y, r) = 0 是约束条件,C 是常数,λ 是拉格朗日乘子。
【每天一个 Python 小案例30】Python 基础知识综合小项目:我的工具盒
作为系列收官,本篇把前 29 篇的知识点合成一个能直接用的命令行工具"我的工具盒":计算器(用 ast 解析表达式,不碰 eval)、单位换算与温度转换(一张换算表 + 特例分支)、记账与分类统计(Decimal + JSON 持久化)、以及用"字典当命令表"把菜单和业务逻辑解耦的主循环。文中对比了 eval 的安全隐患与 ast 白名单的做法,解释了 lambda 闭包在字典里的写法与晚绑定陷阱,并在最后给出整个系列的知识地图,把变量、数据结构、控制流、函数、类、异常、文件、标准库八块内容对应到具体篇目。
PCL CSF布料模拟算法【2026最新版】
CSF布料模拟地面滤波算法的PCL实现,博客长期更新,本文最近更新时间为:2026年10月26日。
WINCC7.3破解文件
WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!
双路径优化+双容差校准
默认使用向量化路径处理常规数据,当检测到内存非连续或需要极致短路性能时,自动切换至 Numba JIT 路径。“当 CI 宽度中位数为 $W$ 时,实际判定容差为 $10^{-12} + 10^{-9} \times W$"针对表征谱算子 2 的实际输出量纲(例如 $10^{-3}$ 至 $10^3$),调整。准确标记了哪些数组被复制。非短路、静默拷贝风险、量纲耦合容差),本方案重构了核心逻辑。,并完善审计元数据以记录内存拷贝状态。, 确保在不同量纲下判定标准的一致性。,否则需排查上游数据生成逻辑。
visio安装包
Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。
yolo 和 deft 算法的区别
你应该是打错了:是,不是 defrat;
Data-Structures-and-Algorithm-Analysis-in-Java.pdf
作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...
efm32 入门.pdf
本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级 备考:莫队算法离线区间查询详解
备赛进行时:第十八届蓝桥杯软件赛报名已于 2026-10-08 10:00 开启、12-18 14:00 截止,省赛定在 2027-04-10(C/C++·Python 程序设计 9:00–13:00);中国电子学会 2026 年 12 月软件编程(C/C++ 一级至十级、Python 一级至六级)考级报名 9/23–12/2 16:00、统考 12-12;全国青少年信息素养大赛 2026—2027 赛季算法应用主题赛也已进入复盘练兵窗口。
两张表合并之后,行数悄悄多了一倍
pandas merge 行数异常膨胀源于右表键不唯一,导致数据静默复制。实测显示,未聚合的右表(756行)与左表合并后行数增至504行,合计膨胀3.5倍,但无报错。validate 参数仅在检查键唯一性时有效,one_to_one 和 many_to_one 可拦截问题,但需结合 duplicated() 前置检查。正确做法为先按键聚合右表,再合并,避免重复。建议合并前后核对行数、合计,并使用 indicator=True 排查匹配情况,确保数据一致性。
我用 200 行代码写了个“代码屎山检测器“,扫完公司的老项目后我沉默了
这个工具不能帮你把屎山铲平,但至少能让你知道自己面对的是多大的山,也能在代码评审时用数据说话——“这个 PR 把圈复杂度从 12 推到了 18,能不能拆一下?毕竟,不能量化的东西,就没法改进。
智慧农业实战:育秧车间秧盘计数与苗情分级的Python实现
首先,建立统一的数据结构,保存每盘秧苗的编号、批次、覆盖度、叶色得分和播种天数。A = "壮苗"B = "合格苗"C = "弱苗"@dataclassdays: int。
Java Arrays.asList 常见坑详解|UnsupportedOperationException、数组联动、基本类型 bug
解析 Arrays.asList 常见开发陷阱,演示 UnsupportedOperationException、底层数组引用共享、基本类型数组问题,区分 Arrays 内部 ArrayList 与 java.util.ArrayList,给出数组转 List 的各种场景正确代码。
【每天一个 Python 小案例29】Python 实现商品购物车
本篇实现一个购物车:商品目录、加入商品、修改数量、移除商品、查看小计、计算满减与 VIP 折扣、结算扣库存。核心设计是"目录与购物车分离"——目录存商品主数据,购物车只存 {商品编号: 数量};金额一律用 Decimal 并做 ROUND_HALF_UP 舍入。折扣部分讲清阶梯满减的匹配顺序(阈值从高到低、命中即停)与叠加顺序(先满减、后打折),并用一次完整结算演示 706 元如何变成 613.70 元。
Python的字典
Python字典是存储键值对的数据结构,通过键(key)快速查找对应的值(value)。可使用{}定义,支持增删改查操作:通过dict[key]查询或修改值,get()方法安全获取并设置默认值,del dict[key]删除键值对,keys()、values()和items()用于遍历。items()结合双变量循环可高效遍历所有键值对,提升代码可读性与灵活性。
黄仁勋走了,护城河留下了什么
11 月 12 日,英伟达董事会批准黄仁勋辞去总裁、CEO 和董事职务,即刻生效,CFO 克雷斯出任临时 CEO;股价开盘一度跌 14.35%,收盘只跌 4.34%,市值单日蒸发 1820 亿美元;本文把「创始人走了护城河就没了」这个流行说法拆开——CUDA 还在,但 CUDA 正在被 Claude 三天凿穿,真正决定下一段路的是三个可以核对的东西:治理结构、决策机制、以及下一个百亿美元由谁拍板。
基于深度学习的工业表面缺陷检测系统-毕业设计
只用正常样本训练的工业表面缺陷检测系统:15 类工业品、5354 张图、73 种缺陷。PatchCore-lite 图像级 AUROC 0.896、像素级 0.951,单张 CPU 推理 115 毫秒;附 PaDiM 与整图基线对照,含 Django 系统、论文与使用文档。
230



被折叠的 条评论
为什么被折叠?



