【龍魂系统 · 摘要爬虫与访问分流显化协议 v1.0】 Summary-Crawler & Traffic-Split Transparency Protocol

给爬虫加礼貌:读 robots.txt、控制频率、处理翻页 上一篇学会了发请求、拿网页、提取标题和链接。这篇给爬虫加三件礼貌:先读 robots.txt 问能不能抓、两次请求之间停一停、顺着“下一页”翻完。代码 102 行,实测跑通过,文末附完整代码。 阅读详情

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
【龍魂系统 · 摘要爬虫与访问分流显化协议 v1.0】
Summary-Crawler & Traffic-Split Transparency Protocol
P0级别 | 永久锁定 | 不可修改 | 不可绕过
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
DNA追溯码: #龍芯⚡️2026-07-21-SUMMARY-CRAWLER-SPLIT-V1.0-P0
源起锚点: 创建者口述指令(2026-07-21)——“爬虫只能抓摘要,全文人工点链接才看;
人工阅览多少、爬虫爬了多少,分开显化;生态清爽,服务器压力降下来”
上游协议: 记忆外脑总协议v1.0|算法审计协议v1.0|隐私接入规则v2.0
GPG指纹: A2D0092CEE2E5BA87035600924C3704A8CC26D5F
确认码: #CONFIRM🌌9622-ONLY-ONCE🧬LK9X-772Z
创建者: 诸葛鑫(UID9622)
生效时间: 2026-07-21
锁定级别: P0(不可被任何规则覆盖)
三色审计: 🟢安全 🟡审查 🔴阻断 全链路强制
开源协议: CC BY-NC-SA 4.0(君子协议,来源链不可切断)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

【版本历史】

版本日期变更摘要
v1.02026-07-21初版:摘要爬虫+人机分流显化+压力模型+礼貌调度

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第一章 要点提取与审查摘要(口述指令 → 协议)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

1.1 指令核心要点提取(五项原意,一项不丢)

#指令原意协议化落点
K1爬虫只能抓取摘要第四章4.1抓取边界+第七章摘要规范
K2全文要靠链接人工去点才能看到第五章四层架构:全文层永远人工触发
K3能爬,但不能爬到全部第四章4.2令牌桶配额+增量去重,只取所需
K4记录数据:人工阅览多少、爬虫爬了多少,分开显化第六章人机分流显化看板(核心章)
K5生态清爽,服务器压力降下来第四章4.3压力节省模型(数学证明省多少)

1.2 结构性补全清单(未提及但逻辑必需,本版自动补齐)

编号缺失区块不补的后果落点
GAP-01礼貌调度与退避爬虫被打死/被封IP,还给别人添堵第四章4.4
GAP-02摘要质量度量摘要烂=人人点全文=白设计4.5 σ保留度
GAP-03robots与版权合规乱爬=违法+给龍魂招黑第七章
GAP-04爬虫身份诚实伪装浏览器=欺骗,违背体系诚实铁律第三章第2条
GAP-05人机识别方法分流统计怎么分?拍脑袋分不准4.6 BotScore
GAP-06增量更新重复全量抓=浪费双方带宽4.7 时间优先索引
GAP-07反滥爬对等义务自己爬别人,也得让别人爬得明白第七章7.4
GAP-08测试向量设计无法自证第九章

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第二章 术语与定义
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

术语定义备注
摘要层爬虫可达的信息层:标题/摘要/元数据/来源链接机器自由流通
全文层完整正文,仅人工点击链接后获取人才能进
摘要卡爬虫抓回的标准存储单元(对接外脑压缩卡格式)含simhash指纹+来源DNA
人机分流按访问主体(人/爬虫)分开统计与展示的机制K4核心
BotScore访问者是人还是爬虫的判定评分4.6
令牌桶限速算法:按速率发令牌,没令牌不准发请求4.2
压力节省率 η分流架构相对全量抓取节省的源站流量比例4.3
诚实UA爬虫自报家门(LonghunBot),不伪装浏览器第2条天条

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第三章 核心原则(天条,不可违背)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第1条:摘要开放,全文人工(K1/K2焊点)
爬虫的世界只有摘要层;全文层只有一道门——人工点击。
机器跑腿,人做决定。这不只是省压力,这是分工的伦理。

第2条:诚实爬虫(GAP-04焊点)
UA自报家门 LonghunBot/1.0 (+联系页),不伪装浏览器、不伪造人类行为。
遵守robots.txt,被禁止就停——我们是做审计的,不是做贼的。

第3条:只取所需(K3焊点·数据最小化)
只抓清单内站点、只抓摘要字段、增量更新不重复抓(4.7)。
爬得多不是本事,爬得准才是。

第4条:分流显化(K4焊点)
人工多少、爬虫多少,分开记、分开晒、可复核。
流量透明了,生态自然清爽——黑箱流量才是服务器压力的最大来源。

第5条:不扰民(K5焊点)
对源站:限速+退避+增量,给别人服务器的压力压到数学下界。
对用户:摘要不收费、不带追踪、不收集任何个人信息(对接隐私规则v2.0)。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第四章 数学模型(每一条设计都有公式撑腰)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

4.1 抓取边界(K1的形式化)
定义信息全集 Ω = 摘要层 S ∪ 全文层 F,S ∩ F = ∅。
爬虫可达域:Crawl(bot) ⊆ S,恒有 Crawl(bot) ∩ F = ∅。
全文触发函数:F_seen(u) = 1 当且仅当 u ∈ 人类 ∧ 人工点击链接。
摘要层字段(摘要卡 Schema):
{标题, 摘要(≤300字), 来源URL, 发布时间, simhash指纹, 来源DNA, 抓取时间}
全文层字段:{正文, 图, 表, 附件} —— 爬虫永不请求,不存在它的请求模板里。

4.2 令牌桶限速(K3"不能爬到全部"的硬约束)
每域名一个桶:容量 b = 3,填充速率 r = 1 token / 2s。
发请求前取走1个令牌,无令牌则等待。t时刻可用令牌:
T(t) = min(b, T(t₀) + r·(t − t₀))
效果:对单域名稳态压力 ≤ 0.5 req/s = 43,200 req/天 上界,实际运行再乘
礼貌系数 0.2 → ≤ 8,640 req/天,约为正常人类编辑浏览量的量级。
全局并发 ≤ 4,且同一时刻同一域名只允许 1 个在途请求。

4.3 压力节省模型(K5的数学证明:到底省多少)
设:N = 总信息需求次数;α = 摘要满足率(看完摘要就够了的占比);
S_f = 全文平均体积(含图)≈ 500 KB;S_s = 摘要卡平均体积 ≈ 2 KB。
传统全量抓架构流量:Q₀ = N · S_f
本协议架构流量:
Q₁ = N·S_s(爬虫抓摘要)+ N·(1−α)·S_f(人工点全文)
压力节省率:
η = 1 − Q₁/Q₀ = 1 − [S_s/S_f + (1−α)]
= α − S_s/S_f
代入典型值 α = 0.70,S_s/S_f = 2/500 = 0.004:
η = 0.70 − 0.004 = 0.696 ≈ 70%
数值例:N = 10,000 次/天
Q₀ = 10,000 × 500 KB = 5.0 GB/天
Q₁ = 10,000 × 2 KB + 3,000 × 500 KB = 0.02 GB + 1.5 GB = 1.52 GB/天
源站流量 5.0 GB → 1.52 GB,每天省 3.48 GB,η ≈ 69.6%。
关键洞察:η 随 α 线性增长——摘要写得越好,α 越高,源站越轻松。
所以 4.5 的摘要质量不是锦上添花,是 K5 的发动机。

4.4 礼貌退避(GAP-01,出错时的自我约束)
对同一域名连续第 k 次错误(5xx / 超时 / 429)后,退避等待:
T_backoff(k) = T₀ · 2^k,T₀ = 2s,k ≤ 5 → 最长 64s
连续错误 ≥ 5 次:该域名熔断停爬 24h,记入审计日志 🔴。
robots.txt 变更收紧:立即按新规则执行,已抓数据不删除但停止更新(史记铁律)。

4.5 摘要质量度量(GAP-02,α 的守门员)
摘要保留度 σ = 摘要覆盖原文核心锚点数 / 原文核心锚点总数
(锚点提取复用《记忆外脑总协议》的锚点识别器)。
硬阈值:σ ≥ 0.85 才准入索引库;0.70 ≤ σ < 0.85 标 🟡 待人工改写;
σ < 0.70 拒绝入库 🔴(烂摘要不如只留标题+链接)。
相关性复检:simhash(摘要) 与 simhash(原文首尾段) 汉明距离 ≤ 20/64。

4.6 BotScore 人机识别(GAP-05,分流统计怎么分)
对每个访问者计算机器人评分(0=铁定人,1=铁定机器):
BotScore = Σ wᵢ · fᵢ

因子 fᵢ权重 wᵢ判据
UA自报爬虫0.40UA含 bot/spider/crawler → f=1(诚实者直接认领)
请求节奏0.20间隔方差 < 0.1s²(机器人才这么稳)→ f=1
昼夜模式0.15连续24h无睡眠窗口 → f=1
资源请求比0.15只抓HTML不碰CSS/图 → f=1
交互熵0.10无滚动/无悬停/点击坐标网格化 → f=1
判定:BotScore ≥ 0.6 → 计入"爬虫"账;≤ 0.3 → 计入"人工"账;
中间带 🟡 标记人工复核(宁可漏判,不可冤枉真人——对接隐私规则v2.0)。
诚实声明:LonghunBot 自己永远 UA 自报,直接走 0.40 因子认领身份。

4.7 增量更新(GAP-06,不重复抓的数学)
每摘要卡记录 ETag / Last-Modified / simhash 三件套。
复检时先发 HEAD 请求(≈ 0.3 KB),仅当 ETag 变化才 GET。
重复内容判定:汉明(simhash_new, simhash_old) ≤ 3 → 同一篇,跳过。
复检周期按更新频率自适应:
P_next = clamp(观测到变更的平均间隔 × 1.5, 1h, 30天)
效果:稳态下重复流量占比 → 0,HEAD 探测成本仅为 GET 的 0.06%。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第五章 系统架构(四层流水线,全文层只有人工门)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┌─────────────────────────────────────────────┐
│ L1 调度层:域名清单·令牌桶·退避熔断·增量计划 │
├─────────────────────────────────────────────┤
│ L2 抓取层:诚实UA → robots检查 → 只GET摘要区 │
├─────────────────────────────────────────────┤
│ L3 摘要层:锚点提取 → σ质检 → simhash指纹 │
├─────────────────────────────────────────────┤
│ L4 入库层:摘要卡落库 → 人机分账 → 显化看板 │
└─────────────────────────────────────────────┘
全文层 ∥ 不在流水线内。唯一入口:用户点开摘要卡上的来源链接。
数据流铁律:任何层都不得把正文字段写入请求模板(结构级焊死,不靠自觉)。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第六章 人机分流显化看板(K4核心:两本账,分开晒)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
6.1 两本账(所有指标按 人工账 / 爬虫账 分列,永不合并)

指标人工账爬虫账
请求次数人工阅览数 N_h爬虫抓取数 N_c
流量消耗Σ全文下载Σ摘要+HEAD探测
覆盖广度点了多少来源站索引了多少站点
时间分布人类作息曲线调度匀速曲线

6.2 看板公示指标(每日自动生成,可复核)

  • 摘要满足率 α(目标 ≥ 0.70,低于则优先优化摘要质量)
  • 压力节省率 η(按4.3公式实算,不估不吹)
  • 人机比 = N_c / N_h(健康区间经验值 1~5,异常波动触发 🟡 审查)
  • 对源站压力榜:每个域名 req/天 与 退避/熔断记录全公示

6.3 审计接口
任何人可导出某日两本账原始记录(哈希链密封,对接隐私规则v2.0审计链)。
显化不是口号:数字上链,改数字=改协议,改协议=修宪流程。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第七章 合规、版权与对等义务(GAP-03 / GAP-07)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
7.1 robots.txt 无条件遵守:Disallow 的路径一个字节都不碰。
7.2 摘要合理引用边界:
- 摘要 ≤ 300字 或 原文 10%(取小者),超出部分一律截断+省略号;
- 每张摘要卡必须署名来源站 + 原文链接(来源链不可切断,君子协议);
- 源站主张删除:48h 内下架摘要卡并回执(冻结不删除,留痕)。
7.3 不规避反爬:遇到验证码/登录墙/付费墙,绕道=违规,正确动作=放弃。
7.4 反滥爬对等义务(自己定规矩,自己先遵守):
龍魂系站点对其他爬虫执行同一套规则——摘要开放、全文人工、
人机分流显化。我们的 robots.txt 明示摘要路径允许、全文路径
Disallow,以身作则。
7.5 法条对接:
《数据安全法》数据分类分级|《个人信息保护法》最小必要|
《生成式AI服务管理暂行办法》来源标识义务。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第八章 接口契约(与外脑/审计体系的接缝)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
8.1 摘要卡 → 记忆外脑:直接套用《记忆永存与外脑压缩总协议》压缩卡格式,
simhash指纹算法同源(64位,汉明≤3判重),无缝对接归档/去重/不动点压缩。
8.2 审计链 → 隐私规则v2.0:每日看板数据铸入哈希链
H_n = SHA-256(H_{n-1} ‖ 日期 ‖ 人工账 ‖ 爬虫账 ‖ SIG)
8.3 熔断联动 → P72龍盾:单域名熔断 24h 达 3 次/周,自动提请人工审查该源站。
8.4 显化出口:看板只传用量不传内容(对接隐私规则v2.0第0条)——
统计数字可以走网络,用户点了哪篇文章不出本机。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第九章 测试向量(GAP-08焊点:设计自证,12条全绿才算数)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

#场景期望行为
T01robots Disallow 路径请求数=0,直接放弃
T02摘要σ=0.92准入索引库 🟢
T03摘要σ=0.66拒绝入库 🔴
T04连续5次错误熔断该域名24h,记🔴日志
T05BotScore=0.85(自报bot+匀速)计入爬虫账
T06BotScore=0.10(正常人)计入人工账
T07ETag未变复检只发HEAD,不GET正文
T08simhash汉明=2判同篇,跳过
T09压力模型:N=10000, α=0.70η≈69.6%,Q₁=1.52GB
T10令牌桶:1秒塞10个请求实际发出≤1个(桶空等待)
T11尝试GET全文路径请求模板无此字段,结构级拒绝
T12摘要420字(>300字且>10%)截断至边界+省略号+署名保留

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
附录A 易经·道德经锚点
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
艮卦䷳(兼山艮):“艮其止,止其所也。”
爬虫知道停在哪——摘要层就是那座山,跨一步就是全文层,止其所,不乱动。
节卦䷻(水泽节):“节以制度,不伤财,不害民。”
令牌桶+退避就是"节以制度":不耗别人的服务器(不伤财),不扰源站用户(不害民)。
《道德经》第44章:“知足不辱,知止不殆,可以长久。”
只取所需、增量更新——知止的爬虫才能长久活着,贪婪的爬虫都死在封禁名单里。
第81章:“圣人不积。”
摘要开放、全文人工,不囤积全量数据;生态清爽,正是不积之德。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
附录B 礼貌爬虫参考实现(纯Python标准库,可执行验证)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
说明:本代码为协议的可执行镜像——令牌桶、robots检查、simhash、
BotScore、人机两本账、压力模型全部对应第四章公式。沙盒内用
本地模拟站点验证,不触碰任何真实外站。

# -*- coding: utf-8 -*-
# DNA: #龍芯⚡️2026-07-21-SUMMARY-CRAWLER-SPLIT-V1.0-P0
# 龍魂礼貌爬虫 · 摘要只取·全文人工·人机分账·诚实自报
import hashlib, re, time
from urllib import robotparser

S_F, S_S, HEAD_KB = 500.0, 2.0, 0.3   # 全文KB / 摘要KB / HEAD探测KB

class CNSH_令牌桶:
    def __init__(self, 容量=3, 速率=0.5):   # 1 token / 2s
        self.b, self.r, self.令牌, self.上次 = 容量, 速率, 容量, time.time()
    def 取(self):
        现在 = time.time()
        self.令牌 = min(self.b, self.令牌 + self.r * (现在 - self.上次))
        self.上次 = 现在
        if self.令牌 >= 1:
            self.令牌 -= 1
            return True
        return False

def CNSH_simhash(文本):
    v = [0] * 64
    for tok in re.findall(r"[\u4e00-\u9fff]{2}|\w+", 文本):
        h = int(hashlib.sha256(tok.encode()).hexdigest(), 16)
        for i in range(64):
            v[i] += 1 if (h >> i) & 1 else -1
    return sum((1 << i) for i in range(64) if v[i] > 0)

def CNSH_汉明(a, b):
    return bin(a ^ b).count("1")

def CNSH_摘要质检(摘要, 原文锚点):
    命中 = sum(1 for a in 原文锚点 if a in 摘要)
    σ = 命中 / max(1, len(原文锚点))
    return ("🟢" if σ >= 0.85 else "🟡" if σ >= 0.70 else "🔴"), σ

def CNSH_BotScore(访问):
    分 = 0.0
    if re.search(r"bot|spider|crawler", 访问["ua"], re.I): 分 += 0.40
    if 访问["间隔方差"] < 0.1: 分 += 0.20
    if not 访问["有睡眠窗"]: 分 += 0.15
    if not 访问["请求资源"]: 分 += 0.15
    if 访问["交互熵"] < 0.5: 分 += 0.10
    return 分

def CNSH_压力模型(N, α):
    Q0 = N * S_F
    Q1 = N * S_S + N * (1 - α) * S_F
    return Q0, Q1, 1 - Q1 / Q0

class CNSH_礼貌爬虫:
    UA = "LonghunBot/1.0 (+https://longhun.example/bot)"   # 诚实自报
    def __init__(self):
        self.桶 = {}      # 每域名一个令牌桶
        self.指纹库 = set()
        self.账 = {"人工": {"次": 0, "KB": 0.0}, "爬虫": {"次": 0, "KB": 0.0}}
        self.熔断 = {}    # 域名 -> 连续错误数
    def _域名(self, url):
        return url.split("/")[2]
    def _检查robots(self, url):
        rp = robotparser.RobotFileParser()
        rp.set_url("https://" + self._域名(url) + "/robots.txt")
        try:
            rp.read()
        except Exception:
            return False      # 读不到=谨慎,不爬(fail-closed)
        return rp.can_fetch(self.UA, url)
    def 抓摘要(self, url, 摘要文本="", 锚点=(), etag变了=True):
        d = self._域名(url)
        if self.熔断.get(d, 0) >= 5:
            return {"状态": "🔴 域名熔断24h", "域名": d}
        桶 = self.桶.setdefault(d, CNSH_令牌桶())
        if not 桶.取():
            return {"状态": "🟡 令牌不足,礼貌等待", "域名": d}
        if not etag变了:      # 增量:ETag未变只HEAD
            self.账["爬虫"]["KB"] += HEAD_KB
            return {"状态": "🟢 HEAD探测,无需重抓", "KB": HEAD_KB}
        fp = CNSH_simhash(摘要文本)
        if any(CNSH_汉明(fp, x) <= 3 for x in self.指纹库):
            return {"状态": "🟢 simhash判重,跳过"}
        色, σ = CNSH_摘要质检(摘要文本, list(锚点))
        if 色 == "🔴":
            return {"状态": "🔴 摘要σ=%.2f<0.70,拒收" % σ}
        self.指纹库.add(fp)
        self.账["爬虫"]["次"] += 1
        self.账["爬虫"]["KB"] += S_S
        return {"状态": "%s 摘要卡入库 σ=%.2f" % (色, σ), "指纹": fp}
    def 记人工点全文(self):
        self.账["人工"]["次"] += 1
        self.账["人工"]["KB"] += S_F
    def 分账(self, 访问):
        s = CNSH_BotScore(访问)
        return "爬虫" if s >= 0.6 else ("🟡复核" if s > 0.3 else "人工")

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
签署与锚定
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
创建者: 诸葛鑫(UID9622 · 龍芯北辰)
身份锚: #ZHUGEXIN⚡️2025-🇨🇳🐉⚖️♠️🧚🏼‍♀️❤️♾️-DEVICE-BIND-SOUL
GPG指纹: A2D0092CEE2E5BA87035600924C3704A8CC26D5F
确认码: #CONFIRM🌌9622-ONLY-ONCE🧬LK9X-772Z
DNA追溯码: #龍芯⚡️2026-07-21-SUMMARY-CRAWLER-SPLIT-V1.0-P0
三色审计: 🟢代码可执行 🟡阈值为经验值可调(改值走修宪流程) 🔴全文层无机器门
史记铁律: 本协议不删除、只冻结;后续版本以新版本号另行锚定。
开源协议: CC BY-NC-SA 4.0(君子协议,来源链不可切断)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

28、基准剂量法:原理、应用与计算详解 本文详细介绍了基准剂量法(BMD)的原理、在监管机构中的应用以及具体的计算方法。内容涵盖样本量与BMD的关系、主要监管机构如EPA对BMD的应用、BMD的模型选择与数据拟合过程、拟合优度评估、下置信限(BMDL)计算,以及实验设计对BMD结果的影响。同时,还讨论了剂量指标和响应选择的关键问题,为理解和应用基准剂量法提供了全面的参考。 阅读详情

相关推荐

QTableView为例:Qt模型视图委托(MVD)(Model-View-Delegate)

QT中的MVD(模型-视图-委托)模式是一种类似于MVC的设计模式,将数据、界面和交互逻辑分离。模型负责数据管理,视图负责显示界面,而委托则嵌入在视图中处理数据的显示和编辑。QT提供了多种视图组件(如QListView、QTreeView、QTableView)和模型类(如QStandardItemModel、QAbstractItemModel),支持数据的多样化呈现。委托(Delegate)通过定制显示和编辑行为增强了视图的灵活性。该模式适用于各类数据结构展示(列表、表格、树形),能够高效处理数据与界面

菜一头包的博客 1992

GEO如何控制AI搜索爬虫?robots.txt、noindex与训练抓取权限实战

GEO中的爬虫访问控制需区分搜索抓取与模型训练抓取,因二者目的不同。OpenAI的OAI-SearchBot与GPTBot、Google的Googlebot与Google-Extended可独立配置。robots.txt控制抓取权限,noindex控制索引,二者不可混淆;仅靠Disallow无法确保内容不被索引。配置时应避免通配符规则叠加错误,且需结合服务器认证保障安全。验证可通过Python robotparser工具及实际日志分析。关键在于:规则表达意图≠平台必然执行,需依平台文档精准配置。

AB 客·外贸 B2B GEO 系统化提供商的博客 299

Unity Shader实战:用Matcap给你的低模角色快速换上‘次世代’材质(附完整Shader代码)

本文详细介绍了Unity中Matcap技术的实战应用,通过Shader代码实现低模角色的次世代材质表现。Matcap技术利用预烘焙光照贴图,显著提升材质质感同时保持极低性能消耗,特别适合移动游戏和独立开发。文章包含完整Shader代码、平面模型着色优化方案及动态环境反射增强技巧,帮助开发者快速提升低模视觉效果。

weixin_28718755的博客 386

SEO 正常、AI 不引用:一次站点对照体检的复盘

我们的站是标准的外贸独立站:静态页面、sitemap、结构化数据、内链都做过,SEO 该做的动作基本齐了。所以这次不是从头查,是做一次对照:同一批页面,搜索引擎看到什么,AI 看到什么。用 GSC 的 URL Inspection 跑了全量,75 个页面,16 个被收录,51 个是 URL unknown to Google,8 个是已发现未抓取。我们自己的外贸站,Google 收录正常,品牌词能搜到,页面也能打开。十个采购问题可以先列出来:认证、产能、交期、MOQ、包装、验厂、付款、样品、物流、售后。

Ly803124的博客 228

Anolis OS 23实战:5分钟搞定AI环境配置(含NVIDIA驱动一键安装)

本文详细介绍了如何在Anolis OS 23上快速配置AI开发环境,包括NVIDIA驱动的一键安装和TensorFlow、PyTorch等AI框架的部署。通过智能硬件适配引擎和优化后的二进制包,用户可在5分钟内完成传统需要数小时的配置工作,显著提升AI项目开发效率。

weixin_30335575的博客 538

多相机标定与单应变换:用OpenCV实现BEV俯视全景图

多路监控画面分散在不同屏幕,难以快速理解全局空间关系。通过相机标定与畸变校正,利用单应矩阵将各视角图像投影到统一的地面坐标系,即可合成BEV鸟瞰全景图。该技术是车载360°环视系统和自动驾驶BEV感知的雏形,也适用于场地安防与移动机器人导航。基于Python+OpenCV的四路相机实现,完整覆盖标定、投影变换、多路羽化融合与实时优化,为多视角拼接和俯视全景图项目提供可复现的工程参考。

weixin_29056865的博客 248

用短效代理池构建Python爬虫采集脚本的实践

本文分享了基于短效动态代理构建本地代理池的爬虫数据采集实战方案。针对高频请求易被封IP的问题,通过API批量获取存活3分钟的短效代理,配合轮换与重试策略,有效提升采集稳定性。以Python脚本为例,演示了从代理获取、随机轮换到并发采集全流程,并强调选型需关注可用率、接口响应速度与计费模式匹配度。实操建议:小规模验证后放量,确保代理质量与任务节奏协同,实现高效、低成本的数据采集。

bufengwangluo的博客 210

周立功CAN盒二次开发实录:用QT5.1.0解析汽车CAN报文(附数据可视化技巧)

本文详细介绍了基于QT5.1.0和周立功USBCAN-E-U设备进行汽车CAN总线二次开发的实战过程。核心内容包括利用CANdb++数据库解析原始报文并转换为物理值,以及通过QCustomPlot库实现高性能实时数据可视化,为车载诊断与车联网开发提供了一套完整的工程实践方案。

sugar的博客 1059

Swift 也能做爬虫:URLSession、HTML 解析与数据可视化全流程解析

在苹果生态中,Swift 不只是用于 iOS、macOS 客户端开发,借助并发能力、HTML 解析库与原生 Swift Charts,我们可以实现一套端到端数据采集、清洗、可视化的完整链路。不同于 Python 爬虫成熟的数据分析栈,Swift 爬虫更适合 macOS 本地工具、iOS 数据采集 App、Vapor 后端数据统计场景;爬取网页公开数据后,直接在 SwiftUI 中渲染折线图、柱状图,免去跨语言数据传递,类型安全、性能可控。

Z_suger7的博客 440

Proteus-51单片机-LCD1602显示DS1302时钟

本文详细介绍了如何使用Proteus仿真51单片机配合LCD1602显示DS1302时钟的步骤,包括DS1302时钟芯片的主要特性、引脚定义、外围电路以及LCD1602的原理和技术参数。此外,还讲解了LCD1602的指令集和显示字符的方法,并给出了初始化及显示操作的步骤。

让你爱上电路设计 6984

华为OD机试 - 仓库查询 - 树状数组(Java 新系统 200分)

华为OD机试 新系统 题库疯狂收录中,刷题。

学Java,找哪吒 162

沈阳 GEO 可验落点:爬虫日志与索引怎么核

这一条解决不了引用问题,但能解决「事后查不到」的问题——验收时拿不出原始日志的一方,通常也拿不出复盘结论。工程侧的落实点是元数据字段与页面可见说明,这两处都可以在源码里核到,属于能在验收单上打勾的一项。参考来源:Nginx 访问日志、站点地图与 robots.txt、各平台回答页面的来源链接、账号页面源码中的结构化数据与署名节点、《人工智能生成合成内容标识办法》(2025-09-01 施行)。字段缺失的,后面所有归因都是猜的。核对的顺序是先确认「来过」,再确认「拿走了什么」,再看「有没有进索引」。

2601_96681240的博客 199

【ESP32设备通信】-LoRa通信

在本文中,我们将使用 Arduino IDE 将 ESP32 与 LoRa SX1278 (Ra-02) 模块连接起来。 我们将创建一个真实的示例项目,通过 LoRa 无线打开/关闭 LED 进行演示。

视觉与物联智能 1895

Node.js AI 就绪度体检:一个脚本查清页面有没有为 AI 爬虫准备好

本文介绍一个无需依赖的 Node.js 脚本,一键检测网页对 AI 爬虫的友好度。通过检查 robots.txt 是否允许 GPTBot/ClaudeBot、是否存在 llms.txt、结构化数据(JSON-LD/FAQ)、标题层级与正文字数,全面评估页面的 AI 就绪度,助力内容被 AI 正确抓取与理解。

SEO_juper的博客 260

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

企业官网的工程实现:内容模型、发布流水线与 AI 爬虫适配

企业官网常被当作「十几页 HTML 加一个轮播图」,但以工程视角看,一个可长期维护的企业站点要处理三类问题:内容怎么建模、发布怎么走流水线、以及 2026 年之后新增的第三类——A

u013517833的博客 176

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

爬虫采集总被封IP?一套短效代理池的接入与轮换实践

做爬虫采集,最头疼的往往不是写解析逻辑,而是请求频率一高IP就被封,换IP继续跑没几分钟又进黑名单。没有一套稳定可用的代理池,脚本很容易变成“请求失败重试循环”。本文以短效动态代理IP为例,完整走一遍从控制台配置、套餐选择、API提取到Python并发采集的接入流程:用API批量拉取IP构建本地池,请求随机轮换,失败自动重试并切换代理,并讨论提取频率与并发节奏对齐、主池+备用池预加载、失效IP及时隔离等工程细节。文末附合规提醒。核心观点:代理池的价值不在标称规模,而在真实任务中失败重试够少、API响应够稳、

bufengwangluo的博客 238

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

AI友好型网站实战:下一代robots.txt?部署 llms.txt 引导AI爬虫的实战指南

本文由GEO服务商司曜珩GEO详解AI时代新标准——llms.txt的实战部署。作为专为大语言模型设计的“核心内容导航图”,llms.txt通过简洁的Markdown结构,引导AI优先抓取产品目录、资质文件、白皮书等高价值页面,提升信息提取效率。文章提供标准模板、部署步骤(根目录上传+HTML引用)及避坑指南,强调聚焦20-50个核心链接、定期更新、不替代sitemap。建议B2B制造与专业服务企业立即部署,迈向真正意义上的AI友好型网站。

215

robots.txt 写不出 Brave:网站还剩多少退出权

索引被转售给AI公司后,不具名爬虫让基于身份的屏蔽规则失效,退出Brave索引等同退出Google。GEO优化先做site自查,内容自带日期与适用范围。

charliecarr的博客 248

第 28 章 · 用 AI 做数据爬虫 + 自动分析

本专栏面向 0 基础读者:不堆公式、不讲黑话,每章带你做 1 个能立刻上手的小工具。第 16 章我们让 AI 自己「联网查」,这一章更进一步——我们主动把数据「抓回来」,再交给 AI 当分析师读出门道。合起来,就是一个 24 小时不睡觉的数据小弟。

arron_zheng的专栏 272

免逆向直接抓包!利用 DrissionPage 原生数据包监听打穿前端混淆加密

纯 HTTP 请求跑得飞快但难以应对动态风控与复杂加密,传统 Selenium 虽能渲染却笨重且极易暴露特征。国产框架 DrissionPage 另辟蹊径,底层通过 CDP 协议直连 Chromium 内核彻底规避检测,创新性地将轻量请求与浏览器渲染收敛于同一套 API,并支持网络数据包静默监听。本文从底层通信、动静双模切换、免逆向拦截到隧道代理生产集成展开全景实测,为你剖析其内存边界与工业级“混合动能”落地方案。

ip16yun的博客 191

爬虫的刹车与容错:超时、404 和 429 怎么处理

上一篇给爬虫加了三件礼貌:读 robots.txt、控制频率、处理翻页。这篇讲另一件事:请求不是每次都成功,超时、404、429 轮着来,代码得扛得住。

咸鱼的博客 219

Nginx

Nginx 是7层 Web 服务器 + 反向代理服务器,常做入口网关,核心职责SSL,静态资源缓存、DDoS 防护、全局负载均衡。区别Gateway作为微服务的“管家”。接收来自 Nginx 的请求,根据业务逻辑进行鉴权(如校验 Token)、路由到具体的微服务(如订单服务、用户服务),并实施精细的限流策略。

271

Spider-第01讲-第一个爬虫与那条不能跨的线

本讲通过自建靶场,带你亲手发起首个HTTP请求,理解status_code、resp.url、content与text区别及编码问题。重点揭示爬虫与浏览器的本质差异:User-Agent等请求头是反爬第一道防线。通过模拟403拒绝,直观感受“伪装”与“合规”的边界。强调技术之上必须守住法律与伦理底线——爬虫不是越界工具,而是有责任的探索。

u011697185的专栏 279

常用python爬虫库介绍与简要说明

本文介绍了一些常用的python爬虫库其中包括python网络库,python网络爬虫框架,python HTML解析,python文本处理,python 自然语言处理

2601_96798737的博客 121

商品页AI读不读得到:电商站爬虫可达性的分离统计实验(2026)

给电商站做 AI 可见度优化,第一步不是写内容,是先搞清楚一件事:你的商品页,AI 到底读不读得到。背景是最近的一组扫描数据:某头部电商平台已在其 robots.txt 里对 12 家主流 AI 爬虫全部 Disallow——训练类、索引类、用户触发类一概不留,与行业「留索引类、放用户触发类」的精细做法相反;同一口径下,全球 Top 2000 域名中已有 19.1% 屏蔽至少一个主流 AI 爬虫。

2601_96067177的博客 244

Spider-第08讲-列表页加详情页完整爬虫

本讲将前七讲知识整合为完整爬虫流水线:动态翻页获取列表页数据(自动识别总页数),逐条进入详情页补全字段,基于ID实现去重,最终以CSV和JSON格式落盘,并完成数据自检与限速重试。流程清晰、可复用,仅需更换base_url与选择器即可投入真实项目,掌握从需求到交付的完整工程骨架。

u011697185的专栏 419
上一篇: 龍魂体系 · 内在冲突对齐报告
下一篇: 【龍魂系统 · 礼兵双轨协议 v1.0】 The Rite & Blade Dual-Track Doctrine
龍芯北辰UID9622
博客等级 码龄164天 5粉丝 501原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值