论文阅读笔记——Janus，Janus Pro

最新推荐文章于 2025-12-05 22:35:01 发布
原创 最新推荐文章于 2025-12-05 22:35:01 发布 · 1.4k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记 #理解生成模型 #多模态 #人工智能

Janus

Janus 论文

  • 理解任务（VQA）需要高层语义特征如物体类别、关系（信息压缩）
  • 生成任务依赖细粒度细节如局部纹理，去模拟数据的分布（信息扩展）
  • 单一编码器无法同时满足两种要求，导致性能受限（尤其在理解任务）
    Janus 的创新点在于通过视觉编码解耦同时优化多模态理解和生成任务，理解上采用 SigLIP 提取全局语义特征，生成上用 VQ-GAN，保留局部细节信息。
    在这里插入图片描述
任务类型 编码方法 特征
纯文本理解 LLM 内置的文本分词器 文本->离散ID->LLM词嵌入特征
多模态理解 SigLIP 编码器 图像->SigLIP->展平1D->Adapter 映射
视觉生成 VQ-GAN 编码器 图像->VQ 离散 ID 序列->展平1D->Adapter 映射 Codebook

在这里插入图片描述

  • Stage 1：训练 Adapter 与图像头，让视觉和文本在 Embedding Space 上建立联系，数据上 1.25M 来自 ShareGPT4V 的 image-text pair 标注（ < i m a g e > < t e x t > <image><text> <image><text>），1.2M ImageNet-1K 图片用于生成( < c a t e g o r y _ n a m e > < i m a g e > <category\_name><image>
最低0.47元/天 解锁文章
DeepSeek：开启教育测评智能化新时代
邓邓子的博客
05-11 1761
随着教育数字化转型加速，DeepSeek 在教育测评领域的应用展现出巨大潜力。本文围绕 DeepSeek 在教育测评中的实践，深入探讨其在测评试题智能生成、学生学习评价报告、教育测评系统优化等方面的应用。在试题生成上，利用先进技术实现高效、多样命题；在学习评价报告方面，基于多维度数据生成个性化报告；在系统优化层面，显著提升测评系统智能化水平。同时分析应用中面临的数据隐私、算法偏见等挑战，并对多模态融合等未来发展趋势进行展望，为推动教育测评智能化发展提供参考。
从数据到智慧：AI原生知识库构建的完整技术栈解析
AI天才研究院
07-05 593
在人工智能飞速发展的今天，构建能够真正理解、组织和应用知识的系统已成为企业数字化转型的核心竞争力。本文将深入剖析AI原生知识库的完整技术栈，从数据采集与预处理，到知识表示与建模，再到存储架构与检索增强生成技术，全方位解读如何将原始数据转化为可行动的智慧。我们将通过生动的比喻、详细的代码示例和实际案例，帮助技术决策者和实施者掌握构建高性能AI知识库的关键技术和最佳实践，最终实现从信息管理到知识创造的飞跃。这就是今天企业面临的数据困境：我们拥有海量数据，却难以将其转化为结构化知识和实际智慧。
论文阅读笔记——Emerging Properties in Unified Multimodal Pretraining
Multiple_x的博客
05-24 1421
Emerging Properties in Unified Multimodal Pretraining 论文阅读笔记
论文阅读笔记——Harmonizing Visual Representations for Unified Multimodal Understanding and Generation
Multiple_x的博客
07-03 378
Harmonizing Visual Representations for Unified Multimodal Understanding and Generation 论文阅读笔记
人人可用的视觉理解引擎——DeepSeek Janus-Pro-7B多模态模型深度解读
weixin_58022259的博客
02-04 5538
Janus-Pro-7B作为一个开源项目，它的诞生源于开发团队希望通过分享知识和技术来促进整个行业的发展
【论文阅读】Med3DVLM: An Efficient Vision-Language Model for 3D Medical Image Analysis
想当咸鱼的猫
06-17 1462
视觉语言模型 (VLMs) 在 2D 医学图像分析中显示出了潜力，但将其扩展到 3D 仍然面临挑战，因为3D数据的高计算需求以及将 3D 空间特征与临床文本对齐的困难。我们提出了Med3DVLM，这是一种3D VLMDCFormer，一种高效的编码器，使用分解的 3D 卷积来捕获规模上的细粒度空间特征；SigLIP，一种对比学习策略，采用成对 sigmoid 损失，在不依赖于大量负样本的情况下改善图像与文本的对齐一种投影器，将低级和高级图像特征与文本嵌入相融合，以实现更丰富的多模态表示。
左耳听风——笔记二：程序员练级攻略
热门推荐
页页的博客
10-26 9万+
左耳听风——笔记二：程序员练级攻略
一文读懂向量数据库，原理到应用全解析！
Datawhale
06-27 946
随着大语言模型等技术的发展，训练时使用的数据已经无法满足一些应用场景的需求（模型的数据只能停留在某个时候，比如Claude提示词就明确显式表示了时效性），这一部分知识就需要通过工具或者记忆模块，并且以提示词的形式告诉大语言模型。不同度量在不同数据库中的支持程度不一，如有的引擎只支持欧氏和余弦，有的还支持更复杂度量。早期的语言表示方法是符号化的离散表示（如独热编码、ti-idf词袋模型），但这些词之间没有距离的概念，比如“计算机”和“电脑”被认为是两个完全不同的词，继而引入了人工知识库，如同义词词典。
多模态“啊哈时刻”：自编码器如何让理解与生成真正相爱相杀
欢迎来到我的博客
09-22 712
当前多模态模型的“统一”多是伪命题。北大与百度团队提出UAE框架，以自编码器视角和重建目标，首次实现理解与生成的相互成就与协同进化，数据验证“啊哈时刻”真实存在。大家好，我是肆〇柒。今天这篇论文是一项来自北京大学与百度ERNIE团队的研究。面对当前多模态模型“理解”与“生成”模块貌合神离、甚至相互拖后腿的行业困局，这支研究团队另辟蹊径，提出了一种名为UAE的全新框架，不仅让二者真正“统一”，更催生了令人振奋的“啊哈时刻”。
【论文阅读20】MM-LLMs：多模态大语言模型的最新进展
Ma040713的博客
12-02 1168
【摘要】《MM-LLMs:多模态大语言模型最新进展》综述了多模态大语言模型(MM-LLMs)的技术发展。论文提出通用五组件架构：模态编码器、输入投影器、LLM骨干、输出投影器和模态生成器，并详细分析了126个SOTA模型的演进趋势。研究揭示了从单一理解到任意模态转换的发展路径，总结了提升性能的关键因素，如高分辨率输入、高质量微调数据等。最后探讨了未来研究方向，包括扩展更多模态、轻量化部署和减少幻觉等。该研究为理解多模态大模型技术发展提供了系统性参考。
Attention is all you need——论文笔记
aaaa_a133的博客
12-05 832
在WMT 2014英法翻译任务上，我们的模型在8个GPU上进行了3.5天的培训后，建立了一个新的单一模型最先进的BLEU得分41.8%，成本比之前下降了a small fraction of the training costs of the best models from the literature。关联来自两个任意输入或输出位置的信号所需的操作数量随着位置之间的距离而增加，对于ConvS2S是线性的，对于ByteNet是对数的。它们被连接起来，并再次投影，产生最终的值，如图2所示。
论文笔记（一百零六）RynnVLA-002: A Unified Vision-Language-Action and World Model
xzs1210652636的博客
12-02 1054
本文提出了RynnVLA-002，一个将视觉-语言-动作(VLA)模型与世界模型相统一的创新框架。该模型通过联合学习环境动态和动作规划，实现了视觉理解与动作生成的相互促进。研究采用了混合架构设计，结合离散联合建模和连续的Action Transformer头，有效解决了自回归动作生成中的错误累积问题，提升了泛化能力和推理速度。实验结果表明，在LIBERO仿真基准上，RynnVLA-002取得了97.4%的成功率；在真实机器人任务中，其集成的世界模型使整体成功率提升了50%，显著优于单独的VLA或世界模型。
[论文阅读] 软件工程 - 供应链 | 从Log4Shell到Go组件漏洞：一篇文看懂开源依赖安全的核心痛点与解决方案
张较瘦
12-05 684
开源库虽加速软件开发，却引入安全漏洞（如Log4Shell）。为探究漏洞分布、持续性及与项目指标的关联，研究开发多语言SCA工具VODA，爬取2013-2023年1042个GitHub项目（49055个版本），生成SBOM并分析。结果显示：多数语言的脆弱依赖为传递依赖，关键漏洞平均持续超1年修复；Go直接依赖占比最高，Java漏洞多在传递依赖；Go/Rust提交数与漏洞数呈中度正相关。该研究数据集较同类更丰富，结论为开发者提供依赖管控依据，强调SBOM与及时更新的重要性，助力提升开源软件供应链安全。
【论文笔记】​嵌套学习 Nested Learning: The Illusion of Deep Learning Architectures​
心宝的博客
11-29 155
本文提出了一种称为"嵌套学习"的新学习范式，将机器学习模型视为一组嵌套的多层优化问题。该框架揭示了现有深度学习方法通过压缩自身上下文流来学习数据的本质，并解释了大模型中上下文学习能力的涌现。核心贡献包括：(1) 将优化器重新解释为关联记忆模块，提出了深度优化器；(2) 开发了自修改序列模型，通过学习自身更新算法实现自我改进；(3) 提出连续统记忆系统，超越了传统长短期记忆的局限。实验表明，结合这些创新的HOPE架构在语言建模、持续学习和长上下文推理任务中表现优异。嵌套学习为深度学习提供了
论文阅读《Audit Games with Multiple Defender Resources》
m0_67450301的博客
12-02 827
参数图。
【论文阅读】--多模态大语言模型的安全性研究综述
我是个好人呀，O(∩_∩)O
12-02 1302
从简单高效的线性投影器和MLP，到适用于深度交互的交叉注意力机制，再到能够精细提取特征的Q-Former、P-Former以及其增强版MQ-Former，这些工具共同奠定了多模态模型复杂特征表示的基础。例如，将视觉问答数据集中的输入（图像和问题）和输出转换为多模态输入和响应，并结合任务描述丰富数据的指令格式。综上所述，不同的模态编码器根据各自的特点和应用场景，采用了不同的技术和架构，但共同目标是为多模态大型语言模型提供统一且有效的特征表示，使得模型能够在处理复杂多样的输入时实现精准的理解和生成能力。
[论文笔记] ASR is all you need: Cross-modal distillation for lip reading (2020)
2302_76169191的博客
12-02 670
本文深度解读了 2020 年唇语识别（Lip Reading/VSR）领域的经典论文《ASR is all you need: Cross-modal distillation for lip reading》。针对 VSR 任务中“高质量视听标注数据稀缺”的核心痛点，论文创新性地提出了一种跨模态知识蒸馏框架：利用在海量纯音频语料上预训练好的 ASR 模型（教师），通过“双重监督信号”（CTC 硬标签 + 概率分布软标签），指导仅输入视频信号的 VSR 模型（学生） 在无标签数据（如 VoxCeleb2）上
论文笔记（一百零五）A review of learning-based dynamics models for robotic manipulation
xzs1210652636的博客
12-01 779
本文综述了基于学习的动力学模型在机器人操作中的应用与发展。传统基于物理的动力学模型虽具泛化性，但依赖完整状态信息，而复杂场景中此类信息难以准确获取。学习型模型直接从观测数据中学习状态转移函数，能够捕捉复杂因素与不确定性，并加速实时仿真。研究显示，这些模型显著提升了机器人处理可变形物体、颗粒材料及多物体交互任务的能力。文章重点探讨了状态表示的选择对模型性能的影响，分析了不同模型结构的权衡，并讨论了其与状态估计和控制方法的结合。最后指出了该领域未来的研究方向与挑战。
【论文阅读笔记】FOCAL 离线元强化学习，从静态数据中快速适应新任务
最新发布
iiiiii11的博客
12-05 440
FOCAL（Fully-Offline Context-based Actor-critic meta-Learning）算法首次实现了无需任何在线交互的端到端元强化学习。它通过三个关键设计——确定性上下文编码器、负幂距离度量损失和解耦训练策略——让智能体仅从历史数据中就能学会"如何快速学习新任务"。在6个标准测试环境中，FOCAL相比现有方法样本效率提升显著，且能稳定收敛。
Janus-Pro-1B在笔记本上部署
02-19
### 部署 Janus-Pro-1B 模型于笔记本电脑 #### 准备工作环境 为了顺利部署 Janus-Pro-1B 模型，首先需要安装 Conda 来管理软件包和虚拟环境[^1]。Conda 提供了一个稳定且易于使用的平台来进行后续操作。 #### 修改应用程序配置文件 针对特定硬件条件下的优化设置，在 `demo/app_januspro.py` 文件内需将模型名更改为 "1B"[^4]。这一步骤确保了程序能够正确加载并初始化目标大小的预训练权重参数集。 #### 启动服务端口监听 完成上述更改之后，启动应用服务器使得可以通过 Web 浏览器访问该接口。通常情况下，默认地址会设为 http://127.0.0.1:7860/ ，这意味着只要在同一台机器上的任意现代浏览器输入此链接就能看到交互界面。 ```bash python demo/app_januspro.py ``` 对于拥有更高性能需求或希望采用容器化解决方案的情况，则可以考虑利用 Kubernetes 工具链实现自动化运维流程；例如通过执行如下命令快速创建所需的服务实例： ```bash kubectl apply -f ./comfyui-deployment.yaml \ -f ./comfyui-dev-se.yaml \ -f ./comfyui-dev-svc.yaml ``` 以上方法适用于具备一定 IT 基础设施支持的企业级场景下大规模分布式系统的构建与维护[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值