
AI
文章平均质量分 81
OpenSani
这个作者很懒,什么都没留下…
展开
-
qwenvl 以及qwenvl 2 模型架构理解
qwenvl 模型理解:参考资料:论文:最近正好在做qwenvl 总结记录一下qwenvl 以及qwenvl2模型的架构,本文主要聚焦模型架构和训练技术,其他内容后面有涉及再补由于我主要关注模型架构,因此读论文的时候读完摘要直接看model architecture。原创 2024-12-26 23:58:53 · 1844 阅读 · 0 评论 -
qwenvl 代码中的attention pool 注意力池如何理解,attention pool注意力池是什么?
下面是qwenvl的架构图,Vision-Language Adapter 就是里面cross attention的部分。看qwenvl的huggingface的代码的时候,发现代码里有一个。qwenvl 中的attention pool如何理解,查看qwenvl的文章,里面有一个。原创 2024-12-26 19:25:12 · 474 阅读 · 0 评论