- 博客(94)
- 收藏
- 关注
RSS订阅原创 读文章 Critiques of World model
摘要：本文批判性分析了当前世界模型（World Model）研究，提出构建具有物理性、能动性与嵌套结构（PAN）的通用人工智能系统。研究指出世界模型应作为真实环境的算法替代物，支持有目的的推理与行动模拟。受《沙丘》"预知者"概念启发，作者强调世界模型需采用分层式、多层级、混合连续/离散表示，结合生成式与自监督学习框架。文章通过强化学习形式化证明，最优智能体需通过世界模型模拟环境反应路径来决策，而当前模型在复杂环境中的表现仍有限。研究为开发能模拟"下一个世界"的通用AI
2025-07-14 15:51:24
587
原创 读V JEPA：Video Joint Embedding Predictive architective 以及VJEPA2
许多用于学习基于像素环境的世界模型的常见方法，采用的是通过像素级重建目标训练的生成式架构。在本研究中，我们分析了在完全离线设置下（即无法访问奖励信息）使用 VICReg 和 SimCLR 目标训练的 JEPA 的性能，并将其结果与生成式架构的表现进行对比。我们在一个简单的环境中进行了测试：一个移动点目标并伴有多种背景干扰物，并对所学表示进行了探测，以评估其对点位置的编码能力。此外，我们从理论上解释了基于 JEPA 的方法在固定噪声情况下表现差的原因，指出了其一个重要局限性。作者：Vlad Sobal，…
2025-07-14 09:47:23
626
原创 读VJEPA 2
Meta FAIR团队提出了一种自监督学习框架V-JEPA 2，通过结合互联网视频与少量机器人交互数据构建具备理解、预测和规划能力的智能模型。该模型在100万小时视频数据上预训练，在运动理解（Something-Something v2数据集77.3%准确率）和动作预测（Epic-Kitchens-100数据集Recall@5 39.7%）任务中表现优异。与语言模型对齐后，在视频问答任务中取得84.0的PerceptionTest分数。仅用62小时机器人视频微调后，该模型实现了零样本物体抓取操作，展示了从观
2025-07-02 19:05:03
1293
原创 读Vista
摘要 本文提出Vista，一种具备跨域泛化能力、高保真预测性能和多样化动作可控性的自动驾驶世界模型。针对现有驾驶世界模型在泛化性、预测保真度和控制灵活性方面的不足，我们提出三项关键技术：1）通过潜变量替换策略注入动态先验，支持连贯的长期预测；2）设计两种新型损失函数（动态增强损失和结构保持损失）提升关键区域运动建模和结构细节保留；3）开发统一接口实现从高层意图到低层操作的多模态动作控制。实验表明，Vista在多个数据集上显著优于现有方法（FID提升55%，FVD提升27%），并能作为通用奖励函数评估动作可行
2025-07-01 16:02:46
1097
原创 安装SDL和FFmpeg
这就安装好了，剩下的就交由 FFmpeg 和 SDL进行串联开发了。如果存在wayland找不到，那就手动指定wayland的位置。FFmpeg 的安装比较简单，我选择的是在conda中，直接用。可以下载一个 tree 看一下里面的结构，比较清晰。然后就可以看见，没有报错，最多输出一些警告。可以用迅雷，下载完之后，这玩意还是有一点讲究的。这里推荐先安装几个包。
2025-05-05 11:28:15
773
原创 阅读 HPNet
时空上下文编码和时空注意力模块共同构成了 HPNet 的核心组件之一。通过将代理特征、地图特征和相对时空位置编码为节点和边嵌入，并结合多头注意力机制，HPNet 能够有效地捕捉代理的历史动态、代理-车道交互以及节点间的时空关系。这些嵌入表示为进一步的三因子分解注意力（Triple Factorized Attention）提供了高质量的输入，从而为最终的多模态轨迹预测奠定了坚实的基础。代理注意力和历史预测注意力分别从代理间交互和时间序列相关性两个角度增强了模型的预测能力。
2025-04-15 01:10:06
1005
原创 阅读论文 smart pretrain，搭配MAE一起食用
预测周围智能体的未来运动对于自动驾驶车辆（AV）在动态、人机混合环境中安全运行至关重要。然而，大规模驾驶数据集的稀缺性阻碍了鲁棒且通用的运动预测模型的发展，限制了其捕捉复杂交互和道路几何结构的能力。受自然语言处理（NLP）和计算机视觉（CV）领域最新进展的启发，自监督学习（SSL）在运动预测社区中引起了广泛关注，用于学习丰富且可迁移的场景表示。尽管如此，现有的运动预测预训练方法大多专注于特定模型架构和单一数据集，限制了其可扩展性和通用性。
2025-04-13 17:50:30
1259
原创 Deformable DTER 代码
其实现在的代码中能用的地方都用到了，可变形的注意力和交叉注意力也不再是一个创新点，因为后者作为transformer的一部分，而前者用在可变形卷积中也是很早的事情了！代码地址：https://github.com/fundamentalvision/Deformable-DETR。哦吼吼，居然是五年前的代码，好好看看，里面的精髓，为啥又快，大家用的就成为了常态。最后发现，真滴，代码里面都用到了，我们看完就留个印象。
2025-01-03 22:10:49
417
原创 xLSTM 阅读笔记
在20世纪90年代，the constant error carousel 和 gating 被引入，作为长短期记忆（LSTM）的中心思想。从那时起，lstm经受住了时间的考验，并为许多深度学习的成功做出了贡献，特别是它们构成了第一个大型语言模型（llm）。然而，以可并行化的自注意力为核心的Transformer技术的出现，标志着一个新时代的黎明，在规模上超过了lstm。
2024-12-08 22:35:15
431
原创 Kolmogorov-Arnold Networks (KANs)
所以寻求GPU的帮助是必要的，下面看一下论文以及代码再做说明！这是个非常厉害的设计，看完论文我再写评价。下面是实验，都是作者给出的代码。由于计算量太大，直接嘎了。
2024-06-13 08:29:52
1302
原创 读《永州八记》
《永州八记》是唐代著名诗人、文学家柳宗元被贬谪至广西的永州，担任永州司马。到处逛。永州当时有两纵三横十八巷。柳宗元与母亲所居的龙兴寺就在现在的千秋岭小学。柳宗元写下文章的时候是秋季，水清，风凉，寂寥无人，悲秋物语！
2024-06-06 16:16:41
776
原创 【无标题】
将下载好的latex文件放到overleaf 中，就很好用，边写边看！第一次选择在IEEE上投论文，先下载一个模板。一般会选择性价比较高的trans，毕业所需！
2024-03-26 19:23:57
192
原创 自己用的小笔记
这个metric 0 就是将默认的最优先的替换下来，让这个路由最优先接受访问，然后就联网了。语法格式一定要保证正确，这里稍微留一下格式，具体的内容就看自己了。由于ubuntu20.04使用的是netplan，可以修改。在此基础上，内部网络是能够实现访问的，那么如何访问外网呢？记得是驱动的问题，那么直接下载一个驱动放上去应该就可以。1、由于服务器的环境老是坏掉，这里稍微记录一点。这就要看服务器连接的wifi是个怎么个事情了，先离线下载吧，然后清理到老的，安装上新的。首先使用ifconfig，查看网卡的问题，
2024-03-12 19:53:01
821
原创 霍夫变换原理和具体实现
霍夫变换由霍夫在1964年提出，其基本原理是笛卡尔坐标系的变换。ykxby = kx + bykxb这是一个很普通的直线定义式，k是斜率，b是截距。那么取该直线上的两个点xiyixjyjxiyixjyj, 就可以使得两个方程式成立。yikxibyikxib, 和yjkxjbyjkxjb, 两点确定一条直线。这里将目光转向 以kkk和bbbb−kxiy。
2024-01-08 21:38:18
1175
原创 扎实写完这篇博客
为了在动态变化的道路上安全驾驶，自动驾驶汽车（车联网汽车）需要预测未来的运行轨迹，并且需要判断周边车次、行人等道路交通参与者的运行轨迹。这也是为什么很多学者致力于轨迹预测研究，以及众多方法涌现出来的原因。这篇文章收集了近二十年的自动驾驶领域中的关于轨迹预测的可比较的和可解释性的工作回顾。以问题的公式化和算法分类开头，展开基于物理学、经典的机器学习方法、深度学习、强化学习方法的讨论，并且对现有方法做实验性介绍和分析，并对每种方法的强弱点做一个讨论，指明未来的研究方向!
2023-08-24 16:42:10
808
原创 Vehicle Trajectory Prediction using LSTMs With Spatial-Temporal Attention Mechanisms
精准的车辆轨迹预测能够为许多智能驾驶系统带来好处，从交通模拟到辅助驾驶。这项能力的需求伴随着自动驾驶汽车的出现而出现，因为他们需要预测周围车辆的行驶轨迹，从而实现安全高效的导航。近来的研究表明基于深度学习的方法能够极大提升预测的准确度。然而，我们使用这些模型的主要困难在于模型的解释性很差。为了缓解这个问题，本文使用空间时间注意力长短期记忆方法来做工作。它是LSTM和时空注意力机制结合的用于车辆轨迹预测的可解释性模型。
2023-08-24 16:41:49
796
原创 sdk manager （ubuntu20.4） 安装
最后解压成功后到软件目录中打开sdk manager，至此，安装完毕。当然要登录自己的账号才能成功下载，下载对应的Ubuntu版本就好。1、首先下载sdk manager 1.9.3。
2023-08-21 11:14:41
4918
原创 实验记录——TT
下载visual box，参照网址：https://blog.youkuaiyun.com/lenglovexu/article/details/127923657进行安装。下载 Ubuntu 18.04(桌面版)http://releases.ubuntu.com/18.04/ubuntu-18.04.6-desktop-amd64.iso下面这个版本不用，看不见桌面，还不习惯。Ubuntu 18.04(服务器版本)http://releases.ubuntu.com/18.04/ubuntu-18.0
2023-08-15 14:39:18
315
原创 人生转折点的思考
我已经25岁了，刚从硕士毕业，即将踏上博士的旅途，过去的日子仿佛就在昨日，现在手头上还有一大堆要做的事情，以后的路充满着迷雾，老师问我，我有没有想好未来干什么，给自己的定位是什么。我没有答案，或者说，我不知道。我可算是知道了，为什么高校的学生心理多多少少有点问题，现在这个空窗，就是，未来很迷，但是我不会因为未来看不清就不动了，走一步算一步那是过日子，是不动的方针，但个人的心理建设又是另一方面，我需要自洽。在最近的几天，我疯狂查阅着相关资料，了解不同时代的25岁青年应该要走的路，要承担的责任，要付出的努力。
2023-07-05 17:35:22
507
原创 First De-Trend then Attentd: Rethinking Attention for Time-Series Forecasting
基于Transformer的一系列方法在长时间序列预测任务中很有效，除了在时域部分学习注意力外，最近的工作也在频域中探索注意力的学习，（使用傅立叶变换、小波变换）。使得模型能够学习季节性的特征。本文试图去理解注意力模型之间的关系，即使这些模型被应用在不同的时域和频域中。理论上，注意力机制在不同的域是等效的，因为，使用的是相同的线性核。实验结果证明，本文分析了注意力模型在不同的域中有着不同的表现，这些表现也是通过接入不同的合成实验，季节、趋势、噪声，并且特别强调了softmax操作的重要性。
2023-06-20 16:55:18
1880
原创 AttributeError: ‘DataFrame‘ object has no attribute ‘ix‘
【代码】AttributeError: ‘DataFrame‘ object has no attribute ‘ix‘
2023-04-26 17:15:56
228
原创 linux ubantu 16.04 安装fbprophet 和 pystan经验总结
之前在window11上，安装了一下午，不是C++版本不行，就是这个那个不通过，主要是Pystan运行不起来就很气，fbprophet本身就需要依赖这个包，然后MSVC不支持，裂开。尝试了很多次，碰到最后的错误是个这直接把我劝退！所以扭头就奔服务器去了！
2023-04-26 11:47:38
1039
原创 论文阅读：Vision GNN: An Image is Worth Graph of Nodes
ViG,喜欢图神经网络和卷积神经网络的小伙伴们可以看看。
2022-07-07 14:48:27
1400
2
原创 论文阅读：Duplex Contextual Relation Network for Polyp Segmentation
论文阅读 双向上下文处理模型 用于结肠癌图像分割任务
2022-06-23 20:10:08
1805
2
原创 论文阅读：CNN+GCN
论文名称：卷积神经网络加上图卷积神经网络的边界回归方法用于医学图像分割。期刊名称：ISSV 2019作者：Yanda Meng Meng Wei.作者单位：利物浦大学以及中科院宁波工业技术研究院。摘要：解剖结构的精准分割是医学图像分析的重要步骤，而边界回归的方法收到了研究者们的青睐。这种方法是从一个起点出发来进行分割任务，而不是对密集的像素点进行分类。然而，由于CNN的固有特性，使用卷积核拥有的局部感受野，缺乏空间信息，这些方法都需要额外的处理步骤来保存空间特征。这也会造成计算代价的增加以及特殊结
2022-03-07 19:06:22
4402
2
原创 论文阅读: DeepGCNs: Can GCNs Go as Deep as CNNs?
论文名称：图卷积神经网络可以走向更深吗？（究极缝合怪）出自：ICCV 2019 Oral作者单位： 阿卜杜拉国王科技大学引言：卷积神经网络很好，因为它很深，并且由残差连接保证性能的提高。在现有的GCN只有三到四层，而本文提出的缝合怪有56层。...
2021-12-29 10:32:30
2137
原创 论文阅读： BI-GCN
paper name：BI-GCN: Boundary-Aware Input-Dependent Graph Convolution Network for Biomedical Image Segmentatation论文名称：边界感知输入独立的图卷积网络论文地址: arxiv:2110.14775代码：未公布摘要：分割是图像处理中的重要步骤，而卷积操作是受限于局部感受野的，所以全局信息的提取模型对于分割任务而言意义重大。所以本文就应用图卷积来解决这一问题，并且提出了一个Laplacian方法
2021-12-21 18:07:21
1749
原创 论文阅读：Graph-FCN for image semantic segmentation
论文名:FCN-图 用于图像语义分割会议：ISNN 2019作者: Yi Lu单位：中科院大学 复杂系统控制和管理国家重点实验室论文地址：https://arxiv.org/pdf/2001.00335代码： 未开放摘要：现如今的深度学习在图像的分割任务中应用广泛，但仍然存在着在深度学习的高级特征提取中，通常会忽略局部位置信息，这对图像语义分割具有重要意义。所以本文提出了使用图卷积来弥补全卷积神经网络的不足。这样的问题在图结构中衍化成了一个图节点 的分类问题，而节点与节点之间的关系就是我们
2021-12-13 19:43:01
2416
原创 论文阅读:Adaptive Graph Convolution for Point Cloud analysis
自适应图卷积用于点云分析论文地址: https://arxiv.org/pdf/2108.08035.代码地址: https://github.com/hrzhou2/AdaptConv-master.作者：Zhou Haoran单位：南京航空航天大学作为初入图卷积网络的小白，我就根据自己的理解来读这篇文章。摘要：问题：从二维网格域推广出来的三维点云的卷积已被广泛研究，但远非完美。标准卷积表征了三维点之间的特征对应难以区分，呈现了特征特征学习差的内在局限性。贡献：1、自适应图卷积 Ada
2021-12-09 22:46:35
5078
1
原创 论文阅读 Adaptive Consistency Regularization for Semi-Supervised Transfer Learning
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning论文题目：自适应一致性正则化方法用于半监督迁移学习作者单位：百度大数据研究院作者：Abulikemu Abuduweili代码地址：https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning摘要近来，半监督学习模型在处理带标签数据不全的任务中有着优异的表现。但它们的参数都是随机初始化的。而
2021-11-23 18:15:43
3632
原创 论文阅读 Graph-Based Global Reasoning Networks
Graph-Based Global Reasoning Networks论文题目：基于图结构的全局推理网络会议：CVPR 2018作者单位：脸书研究院 新加坡国立大学作者： Chen Yunpeng代码：https://github.com/NUST-Machine-Intelligence-Laboratory/nsrom/tree/main/segmentation/libs摘要：区域之间的全局建模和关系推理在完成计算机视觉的任务上有很大的优势。因为卷积神经网络的基础操作Convolut
2021-11-21 23:39:27
4035
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人