- 博客(8)
- 收藏
- 关注
RSS订阅原创 ViT架构到底是个啥？ 流程长啥样？
本文提到的那个能看视频的神奇“视频编码器”，就是在保留了这套标准流程的基础上，仅仅修改了第4步的注意力机制（将其拆分为独立的空间计算和时间计算），从而以极低的算力成本实现了对视频动作的理解。3. 层归一化与 Q/K/V 线性映射（Layer Normalization & Q/K/V Projections）提炼特征，并在多个网络层中反复迭代这一过程，最终输出一组高度包含全局空间理解的嵌入表示。让序列中的每一个元素进行全局的信息交换，最后利用。整体来看，ViT 的核心逻辑就是通过。
2026-05-10 15:31:59
387
原创 MemoryVLA：基于感知-认知记忆机制的机器人操控长程任务技术报告
如图 1(a) 所示，在“按按钮”任务中，按钮被按下前后的视觉状态几乎完全一致。由于缺乏对历史动作的记忆，机器人无法判断自己是“正准备去按”还是“已经按完”，这种时间混淆会导致机器人陷入无效的重复动作或逻辑中断。它不仅证明了记忆机制是迈向通用机器人（AGI for Robotics）的必经之路，更通过工程化的 PCMB 方案，为未来复杂任务的规模化部署提供了清晰的架构蓝图。MemoryVLA 的提出，正是为了打破这种“瞬时反应”的桎梏，通过借鉴人类认知科学，为机器人构建一套显式的记忆系统。
2026-04-30 16:51:54
412
原创 StreamVLN：赋能机器人实时感知与导航的深度解析报告
VLN 的核心任务是要求机器人在连续、未知的物理环境中，仅凭人类的自然语言指令（如“穿过走廊，停在蓝色柜子前”）与实时的车载摄像头视觉流，自主完成从感知到动作预测的端到端闭环。在基于大语言模型（LLM）的系统中，当模型要预测下一个动作或生成下一个词之前，它必须先“阅读并理解”你给它的所有前置信息（比如一开始的指令、之前看过的所有画面、之前走过的所有路线）。“能在脑海里建3D高清沙盘”**的聪明人，它不会把画面弄模糊，而是通过剔除 3D 空间中重复看过的冗余部分，来保持记忆的高效和画面的高清。
2026-04-28 16:48:01
549
原创 ETPNav论文精读（纯小白极致详细版）下篇
连续 3D 空间，全景视野。采用分层结构（建图 -> 规划 -> 控制）。论文里的每一步是指“思考一次”，不是“迈腿一次”。知道自己的位置（Pose）。3.1 节：拓扑映射（Topological Mapping）节点（Nodes, Nt）：代表机器人访问过或观察到的位置。每个节点存储了该位置的视觉信息（特征向量）和位置坐标。边（Edges, Et）：如果两个位置之间可以直接到达，则它们之间存在一条边。每条边还存储了两个节点之间的欧几里得距离。节点分类已访问节点（Visited）
2026-04-12 15:01:38
443
原创 ETPNav论文精读（纯小白极致详细版）上篇
作者不仅在学术指标（SR 成功率、SPL 路径效率）上拿了冠军，还赢得了 CVPR 2022 的挑战赛冠军，证明这套方法在比赛中也是最抗打的。这一小节其实是在为作者的 ETPNav寻找合法性。大家发明了各种厉害的 Transformer 和记忆图。那些辉煌都是建立在“离散跳格子”的基础上的。我们需要一个能处理“连续环境”、有“真实控制”、能“避障”的新框架。一锅炖，结果神经网络学不会。分成“大脑”和“腿”，但大脑还是有点糊涂。把“脑子”的任务分得更细（找点 -> 选点 -> 走点），表现变好了。
2026-04-11 16:45:20
375
原创 具身导航 (VLN-CE) 技术演进学习笔记
就像一个只凭本能反应的人，看到什么就直接决定怎么走。这是一个典型的**端到端（End-to-End）**映射过程。输入一段指令序列，通过交叉注意力（Cross-Attention）观察图像，直接输出动作概率分布（Forward, Left, Right, Stop）。双向 LSTM 或简单的 Transformer，用于处理文本指令。循环神经网络（如 GRU/LSTM），带有 Attention 机制。预训练的 ResNet 或 ViT 提取特征。R2R (2018)。
2026-04-10 21:37:39
278
原创 CLIP (Contrastive Language-Image Pre-training) 学习
通过引入自然语言作为监督信号，在海量（4亿）的“图像-文本对”上进行跨模态对比学习（Contrastive Learning）。这使得 CLIP 将图像和文本映射到了同一个共享的特征空间中，从而具备了极其强大的。
2026-04-10 17:01:21
477
原创 CLI 的复兴与应用
CLI（Command Line Interface，命令行界面）作为计算机领域古老的交互方式，近期迎来新爆发。飞书、钉钉、谷歌、Stripe 等公司在两周内陆续开源 CLI 产品，越来越多软件转向 CLI 化。
2026-04-05 17:32:19
511
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人