- 博客(73)
- 收藏
- 关注
RSS订阅原创 VLA 论文精读（四）DemoGen: Synthetic Demonstration Generation for Data-Efficient Visuomotor Policy Learning
清华在2月提出的一个数据生成引擎，使用3D点云+传统规划算法作为基底生成仿真数据
2025-04-02 15:16:45
758
原创 Pytorch学习笔记（二十）Image and Video - Optimizing Vision Transformer Model for Deployment
pytorch官方教程 Optimizing Vision Transformer Model for Deployment
2025-04-01 19:25:37
780
原创 Pytorch学习笔记（十九）Image and Video - Spatial Transformer Networks Tutorial
Spatial Transformer Networks Tutorial
2025-04-01 16:49:45
281
原创 VLA 论文精读（三）Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
VLA的Diffusion Policy论文精读
2025-03-31 23:33:40
591
原创 VLA 论文精读（二）GR00T N1: An Open Foundation Model for Generalist Humanoid Robots
VLA领域Nvida论文《GR00T N1: An Open Foundation Model for Generalist Humanoid Robots》精度
2025-03-31 01:47:24
1078
原创 VLA 论文精读（一）OpenVLA: An Open-Source Vision-Language-Action Model
基于互联网级VL数据和多样化的机器人演示上的大规模预训练策略，具有改变机器人能力的潜力。相比于从零开始训练新的能力而言，可以对VLA进行微调以获得用于视觉运动控制的鲁棒且泛化的能力。然而，VLA 在机器人学中的仍面临挑战，如：1）现有的 VLA 大多是闭源的；2）已有研究未能探索如何高效地对 VLA 进行微调以适应新任务。为了解决这些挑战，作者提出 OpenVLA，一个 7B 参数的开源 VLA，基于 97 万次真实机器人演示数据训练而成。OpenVLA 采用Llama 2。
2025-03-30 20:34:17
997
原创 Pytorch学习笔记（十八）Image and Video - DCGAN Tutorial
这篇博客瞄准的是 pytorch 官方教程中章节的部分。【注意】：这个demo我在我的 3090*2 (48GB显存)、375GB RAM、Intel® Xeon® Platinum 8255C 设备上没有跑通，发现在单 epoch 的训练循环就消耗了大量时间，我后期会跟进这个demo，如果找到了解决方案会在这篇文章上进行更新。
2025-03-30 20:01:14
715
原创 Pytorch学习笔记（十七）Image and Video - Adversarial Example Generation
这篇博客瞄准的是 pytorch 官方教程中章节的部分。
2025-03-30 14:00:31
553
原创 Pytorch学习笔记（十六）Image and Video - Transfer Learning for Computer Vision Tutorial
这篇博客瞄准的是 pytorch 官方教程中章节的部分。
2025-03-28 20:00:30
796
原创 Pytorch学习笔记（十五）Image and Video - TorchVision Object Detection Finetuning Tutorial
这篇博客瞄准的是 pytorch 官方教程中章节的部分。2.6.0。
2025-03-28 18:01:07
929
原创 Pytorch学习笔记（十四）Learning PyTorch - A guide on good usage of non_blocking and pin_memory() in PyTorch
这篇博客瞄准的是 pytorch 官方教程中章节的部分。
2025-03-28 13:20:52
567
原创 Pytorch学习笔记（十三）Learning PyTorch - Visualizing Models, Data, and Training with TensorBoard
这篇博客瞄准的是 pytorch 官方教程中章节的部分。
2025-03-27 20:59:40
702
原创 Pytorch学习笔记（十二）Learning PyTorch - NLP from Scratch
这篇博客瞄准的是 pytorch 官方教程中章节的部分。
2025-03-27 19:33:57
1645
原创 Pytorch学习笔记（十一）Learning PyTorch - What is torch.nn really
这篇博客瞄准的是 pytorch 官方教程中章节的部分。主要是教你如何一步一步将最原始的代码进行重构至pytorch标准的代码，如果你已经熟悉了如何使用原始代码以及pytorch标准形式构建模型，可以跳过这一篇。
2025-03-27 14:57:55
1169
原创 Pytorch学习笔记（十）Learning PyTorch - Learning PyTorch with Examples
这篇博客瞄准的是 pytorch 官方教程中章节的部分。这里将使用三阶多项式拟合ysinx作为运行示例。网络有四个参数，并将通过梯度下降进行训练，以通过最小化网络输出和真实输出之间的欧几里得距离来拟合随机数据。
2025-03-27 12:56:08
1035
原创 Pytorch学习笔记（九）Learning PyTorch - Deep Learning with PyTorch: A 60 Minute Blitz
导入依赖包定义模型结构实例化模型print(net)只需定义前向函数和反向函数（计算梯度的地方），autograd 会自动生成匹配的参数。模型计对随机数进行推理print(out)清空模型梯度并用随机数填充输出Tensor的梯度损失函数采用（输出，目标）输入对，并计算一个值来估计输出与目标之间的差。nn包下有几种不同的损失函数。nn.MSELoss计算输出和目标之间的均方误差。只需执行就可以反向传播loss。但首先要清除现有梯度，否则梯度将累积到现有梯度中。return x。
2025-03-26 21:32:33
663
原创 Pytorch学习笔记（八）Learn the Basics - Save and Load the Model
这篇博客瞄准的是 pytorch 官方教程中章节的部分。
2025-03-26 19:04:51
387
原创 Pytorch学习笔记（七）Learn the Basics - Optimizing Model Parameters
超参数是可调整的参数，用来控制模型优化过程。不同的超参数值会影响模型训练和收敛速度。Number of Epochs : 迭代数据集的次数；Batch Size: 每次训练的样本数量；Learning Rate: 在每个批次/迭代中更新模型参数的程度。较小的值会导致学习速度变慢，而较大的值可能会导致训练期间的行为不可预测。epochs = 5一旦确定了超参数就可以使用优化循环来训练和优化模型。优化循环的每次迭代称为一个epoch。
2025-03-26 18:46:10
765
原创 Pytorch学习笔记（六）Learn the Basics - Automatic Differentiation
以最简单的单层神经网络，输入 x、参数 w 和 b 以及一些损失函数。它可以按以下方式在 PyTorch 中定义：在这个网络中，w 和 b 是待优化的参数，需要能够计算损失函数相对于这些变量的梯度，通过设置Tensor的pytorch中构建的计算图函数实际上是Function类的对象。该对象知道如何计算前向传播，以及后向传播步骤中的导数。对反向传播函数的引用存储在Tensor的grad_fn属性中。")
2025-03-26 17:24:13
479
原创 Pytorch学习笔记（五）Learn the Basics - Build the Neural Network
nn.ReLU(),nn.ReLU(),# 将模型移动到计算设备上。
2025-03-26 15:45:18
302
原创 Pytorch学习笔记（四）Learn the Basics - Transforms
这篇博客瞄准的是 pytorch 官方教程中 Learn the Basics 章节的 Transforms 部分。
2025-03-26 15:25:33
187
原创 Pytorch学习笔记（三）Learn the Basics - Datasets & DataLoaders
如果想要定义自己的数据集，需要继承于Dataset对象并对函数__init____len__进行覆写。import os。
2025-03-26 15:09:45
315
原创 Pytorch学习笔记（二）Learn the Basics - Tensors
这篇笔记瞄准的是 pytorch 官方教程中的章节里的Tensors部分。
2025-03-26 14:32:06
434
原创 Pytorch学习笔记（一）Learn the Basics - Quickstart
pytorch 2.6.0 版本学习笔记 Learn the Basics - Quickstart
2025-03-26 13:27:01
774
原创 VLN 论文精读（四）Dynamic Path Navigation for Motion Agents with LLM Reasoning
这篇笔记用来描述2025年发表在arxiv上的一篇有关VLN领域的论文，由港科大和达特茅斯大学联合发布，其核心思想是将环境、障碍物、Agent之间的关系转换成文本或代码的描述形式以便利用LLM强大的文本推理能力，进而得到高效可用的导航路径。
2025-03-18 18:46:37
1401
原创 VLN 论文精读（三）Mobile Robot Navigation Using Hand-Drawn Maps: A Vision Language Model Approach
这篇笔记用来描述2025年发表在arxiv上的一篇有关VLN领域的论文，我个人觉得其应用场景比较有意思所以写下这篇读书笔记。该论文由多伦多大学团队发布，其主要研究方向在于使用手绘地图实现机器人在真实环境下的导航。
2025-03-18 02:05:43
1005
原创 VLN 论文精读（二）VL-Nav: Real-time Vision-Language Navigation with Spatial Reasoning
这篇笔记用来描述2025年发表在arxiv上的一篇有关VLN领域的论文，由纽约州立大学布法罗分校和卡耐基梅隆联合发布。其主要创新点在于：像素级的视觉-语意特征、低算力移动设备部署、30Hz控制实时性、VLM模型的 zero-shot；
2025-03-17 18:10:08
920
原创 VLN 论文精读（一）NavGPT-2:Unleashing Navigational Reasoning Capability for Large Vision-Language Models
这篇笔记对VLN领域的论文《NavGPT-2: Unleashing Navigational Reasoning Capability for Large Vision-Language Models》进行了精读，总体而言难度不大，但细节颇多。
2025-03-17 01:12:15
820
原创 AutoGen学习笔记系列（十七）Examples - Literature Review
这篇笔记瞄准的是AutoGen库中Examples章节的示例，实现的功能是对Arxiv文献进行检索。
2025-03-13 16:30:45
564
原创 AutoGen学习笔记系列（十六）Examples - Company Research
搜索的Agent使用工具对股票进行分析，并将结果给分析Agent对整个报告进行分析的Agent。
2025-03-13 15:59:02
1477
原创 AutoGen学习笔记系列（十五）Examples - Travel Planning
从这篇文章开始我们开启一个新的篇章，即 AutoGen 官方教程中的Examples章节，如果之前将该系列笔记的所有文章都亲手执行过一次，那么这部分对你而言难度不大，甚至平均水平还没有Advanced章节高，所以可以抱着一个比较放松的心态来学习。首先还是对Advancedrun()SwarmListMemoryTutorial这篇笔记瞄准的是Examples章节中的第一个例子。
2025-03-13 00:23:50
591
原创 AutoGen学习笔记系列（十四）Advanced - Serializing Components
这篇文章瞄的是AutoGen官方教学文档Advanced章节中的篇章，介绍了如何对组件进行序列化，包括。
2025-03-12 21:08:21
891
原创 AutoGen学习笔记系列（十三）Advanced - Logging
这篇文章瞄的是AutoGen官方教学文档Advanced章节中的Logging篇章，介绍了怎样在使用过程中添加日志信息，其实就是使用了python自带的日志库logging。
2025-03-12 19:39:44
226
原创 AutoGen学习笔记系列（十二）Advanced - Memory
这篇文章瞄的是AutoGen官方教学文档Advanced章节中的Memory篇章，介绍了如何将外部知识添加进 Team或Agent中以实现RAG功能。
2025-03-12 19:29:17
1020
原创 AutoGen学习笔记系列（十一）Advanced - Magentic-One
这篇文章瞄的是AutoGen官方教学文档Advanced章节中的篇章，介绍了AutoGen库最新（2024年11月之后）引入的一个强大工具子库 MagenticOne。
2025-03-12 17:55:38
780
原创 AutoGen学习笔记系列（十）Advanced - Swarm
这篇文章瞄的是AutoGen官方教学文档Advanced章节中的Swarm篇章，介绍了怎样在Team中适时地转移控制权。
2025-03-11 01:37:14
1365
原创 AutoGen学习笔记系列（九）Advanced - Selector Group Chat
这篇文章瞄的是AutoGen官方教学文档Advanced章节中的篇章，介绍了对象如何从一个Team中选择其中一个Agent与LLM进行对话，并且在得到结果后进行二次规划，同时你也可以自定义选择函数。本质上还是对Team的流程控制。
2025-03-09 00:45:40
1056
原创 AutoGen学习笔记系列（八）Advanced - Custom Agents
从这篇文章开始将进入 AutoGen 库官方教程中的进阶部分内容Advanced，对于新手而言必须确保这个系列文章的Tutorial部分（共计七篇）已经并（或者已经亲手敲完官方教程中的代码），因为从这篇文章开始我会默认你已经掌握AutoGen中的基础操作，一些细节会一笔带过不再赘述。其次，在叙述方式上会有一些变动，比如对类会单独拉出来描述，其原因一方面是后面的代码越来越长，如果都放在一块会不太友好，另一方面是对于类的注释可以写的更详细些。但也请放心，在都会提供完成且能够直接运行的代码。
2025-03-08 01:17:38
424
原创 AutoGen学习笔记系列（七）Tutorial - Managing State
这篇文章瞄准的是AutoGen框架官方教程中的Tutorial章节中的小节，主要介绍了如何对Team内的状态管理，特别是如何与状态，这对于Agent系统而言非常重要。官网链接：https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/state.html#；【注意】：AutoGen库中有一个函数名存在语意歧义，
2025-03-05 19:46:58
949
原创 AutoGen学习笔记系列（六）Tutorial - Termination
这篇文章瞄准的是AutoGen框架官方教程中的Tutorial章节中的小节，官网链接：https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/termination.html#；
2025-03-05 17:28:50
628
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人