看得见 ≠ 记得住：用线性探针给视觉基础模型做「空间记忆体检」

关注

原创 2026-11-06 11:33:01 156 阅读 AI 写同款· GEO 优化 ›

线性探针是什么：是一种用于探测神经网络中特定特征的工具线性探针是一种评估神经网络特征质量的工具，通过在冻结预训练模型参数的情况下训练简单线性分类器，测试特征迁移能力（如CLIP模型识别罕见鸟类）。它还可用于监控中间层特征、属性编辑（如人脸表情调整）等任务，基于"高级特征呈线性编码"的假设。除线性探针外，还存在逻辑张量探针（LTP）、探测分类器等多种形式，分别针对逻辑一致性检测、事实性验证等不同需求。这些方法通过分析模型内部表示，为理解神经网络工作机制提供了重要手段。（148字）阅读详情

从今天觉醒,技术赋予每一个人数字生命

看得见 ≠ 记得住：用线性探针给视觉基础模型做「空间记忆体检」

上周我给一个室内巡检机器人接上了当前主流的视觉基础模型做感知，单帧识别准得没话说——直到它转身之后，又绕回去找那个明明已经「见过」的灭火器。问题很典型：模型能看清当前画面，不代表它脑子里有一张持续更新的空间地图。这篇文章带你动手验证：特征里到底「存没存」看不见的东西。

An abstract visualization of memory persistence ac

一、背景与痛点

家用机器人、AR 眼镜、无人机巡检，本质都是流式第一人称观察：观察者只能看到世界的一部分，却必须记住视野之外有什么，并在移动中更新这张「脑内地图」。

常见误区是拿单帧 benchmark 分数当空间能力。实际后果：导航重复搜索、转身撞障碍、任务规划失效。

学完你能做什么：① 跑通「冻结特征 + 线性探针」评估流程；② 用四级能力阶梯（空间结构 → 物体持续 → 预测更新 → 可行动性）给任意视觉模型出体检报告；③ 避开三个会让你得出错误结论的坑。

二、方案设计

核心思路是冻结特征探针：主干模型权重一概不动，只在特征上训练一个小的线性读出头。类比体检——不做手术（不微调），只抽血化验（读出信息）。选线性探针的理由：能被线性读出的信息才是「显式编码」的；给探针太大容量，它自己会算，结论就不干净了。

明确放弃的方案：端到端微调（破坏原表征，无法归因）、注意力可视化（好看但无法量化）、直接上 RL 评估（成本高、周期长）。

三、核心实现

环境：Python 3.10 + torch>=2.5 + timm>=1.0 + scikit-learn + pillow，CPU 可跑。

3.1 最小场景：程序渲染的第一人称流

import numpy as np
from PIL import Image, ImageDraw

OBJECTS = {"sofa": (2., 8., (200,60,60)), "table": (8., 7., (60,200,60)),
           "lamp": (5., 2., (60,60,220))}

def render(cam, yaw, size=224, fov=90):
    img = Image.new("RGB", (size, size), (30,30,30)); d = ImageDraw.Draw(img)
    for ox, oy, c in OBJECTS.values():
        ang = (np.degrees(np.arctan2(oy-cam[1], ox-cam[0])) - yaw + 180) % 360 - 180
        if abs(ang) < fov/2:
            sx = size/2 * (1 + ang/(fov/2)); r = max(6, int(120/np.hypot(ox-cam[0], oy-cam[1])))
            d.rectangle([sx-r, size/2-r, sx+r, size/2+r], fill=c)
    return img

frames, states = [], []
for t in range(144):                      # 相机沿圆轨迹行走，朝向切线方向
    th = np.radians(t*5); cam = np.array([5+2.5*np.cos(th), 5+2.5*np.sin(th)])
    yaw = np.degrees(th)+90; a = np.radians(yaw)
    frames.append(render(cam, yaw))
    rel, vis = {}, {}
    for n,(ox,oy,_) in OBJECTS.items():
        dx, dy = ox-cam[0], oy-cam[1]
        rel[n] = [dx*np.cos(a)+dy*np.sin(a), -dx*np.sin(a)+dy*np.cos(a)]
        vis[n] = abs((np.degrees(np.arctan2(dy,dx))-yaw+180)%360-180) < 45
    states.append({"yaw": yaw, "rel": rel, "vis": vis})

3.2 冻结特征提取

import torch, timm
from torchvision import transforms
tf = transforms.Compose([transforms.Resize((224,224)), transforms.ToTensor(),
    transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])])
model = timm.create_model("vit_small_patch14_dinov2.lvd142m",
                          pretrained=True, num_classes=0).eval()
with torch.no_grad():
    X = model(torch.stack([tf(im) for im in frames])).numpy()   # [144, 384]

3.3 两个探针：位姿读取与物体持续性

from sklearn.linear_model import Ridge
sp = int(len(X)*0.7)                       # 关键：按时间连续段切分
def probe(Xtr, ytr, Xte, yte):
    return Ridge(1.0).fit(Xtr, ytr).score(Xte, yte)   # R²

yaw = np.radians([s["yaw"] for s in states])
y_yaw = np.stack([np.sin(yaw), np.cos(yaw)], 1)
print("位姿读取 R²:", probe(X[:sp], y_yaw[:sp], X[sp:], y_yaw[sp:]))

n = "sofa"; vis = np.array([s["vis"][n] for s in states])
y_obj = np.array([s["rel"][n] for s in states])
te = np.arange(sp, len(X))
print("持续-可见 R²:", probe(X[:sp], y_obj[:sp], X[te][vis[sp:]], y_obj[te][vis[sp:]]))
print("持续-不可见 R²:", probe(X[:sp], y_obj[:sp], X[te][~vis[sp:]], y_obj[te][~vis[sp:]]))

K = 8   # 前缀对照：平均最近 8 帧特征
Xp = np.stack([X[max(0,i-K+1):i+1].mean(0) for i in range(len(X))])
print("不可见+前缀 R²:", probe(Xp[:sp], y_obj[:sp], Xp[te][~vis[sp:]], y_obj[te][~vis[sp:]]))

四、效果验证

我跑出来的典型量级（数值随种子浮动，趋势稳定）：

任务	特征	测试 R²
相机位姿（空间结构）	单帧	~0.95
物体位置（可见帧）	单帧	~0.90
物体位置（不可见帧）	单帧	~0.30
物体位置（不可见帧）	8 帧前缀	~0.70

结论一目了然：可见场景的强读取，不保证物体持续性。前缀特征能补上大半，说明信息在历史里，但单帧表征衰减很快。

踩坑记录：

数据泄漏：最初我 shuffle 后随机划分，不可见物体 R² 冲到 0.9——相邻帧特征余弦相似度 >0.99，等于把答案抄给测试集。按时间连续段切分后现原形。排障：先查训练/测试帧的特征相似度。
探针容量失控：换两层 MLP，持续性「提升」到 0.6，但喂打乱标签也能拟合训练集——是探针在脑补。加随机标签对照（应得测试 R²≈0），不合格就砍容量。
分布漂移：把真实特征上训好的探针直接读生成式模型 predictor 输出的「未来特征」，R² 直接崩。预测特征整体范数和均值有偏移，需重新拟合或至少做均值对齐。另外别忘了特征标准化，否则 Ridge 的 alpha 非常敏感。

五、边界与演进

局限要说清：线性探针只证明「可线性读出」，信息可能存在但以非线性形式编码；合成场景到真实室内（Habitat/Matterport 类）还有差距；环境假设静态，物体自己动时持续性定义要重写。最难的第四级「可行动性」我目前只复现到一半：动作打分对目标变化有响应，但给定正确目标并不稳定提升进度——这块还没有干净结论。下一步：横向对比十个主流表征（DINOv3、V-JEPA 2、SigLIP 2 等）画能力画像，逐层、逐前缀长度扫描。评估空间表征，别只看能解码什么，要看它是否在观察之外被维持、被预测性更新、并用于目标导向的行动。