论文阅读：Large-Scale Visual Relationship Understanding

最新推荐文章于 2022-07-11 11:39:27 发布
原创 最新推荐文章于 2022-07-11 11:39:27 发布 · 1.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scene understand

本文探讨了一种视觉关系理解模型，强调了物体识别在关系识别中的基础作用。模型包括视觉和语义两个模块，使用预训练的词嵌入、关系共现嵌入和Node2vec方法。通过triplet损失函数和softmax的变体改进，优化嵌入向量的区分性和相似性。实验表明，triplet-softmax损失函数在模型中起关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Large-Scale Visual Relationship Understanding (AAAI 2019)

文章
  本文的模型分为两部分：视觉模块和语义模块。
  对于视觉模块，作者认为关系的存在依赖于主语和宾语物体的存在，但反过来并不是，换句话说就是关系识别是建立在物体识别之上的，但物体识别却是独立于关系识别的。因此，作者希望能学习从物体和关系共享的视觉特征特征空间到两个独立的语义嵌入空间（物体和关系）的映射。为了避免混淆两个空间，所以我们看到在本文的模型中，并没有将关系的视觉特征传递给物体（仅将物体特征传递给了关系）。其实这个在之前港中文的一篇文章中也有类似的做法。特征提取模块中的w_1和w_2分别是VGG-16中的fc6和fc7，这样才能保持住VGG16的capacity，并且主语和宾语的部分是共享相同的w_1和w_2的。此外，和之前大多数工作不一样，本文的模型没有将spatial特征和visual特征拼接起来，因为由于物体和类别的规模太大，关系的几何布局具有非常大的变化性。

  对于语义模块，将主语、宾语和关系标签的词向量输入一个1至2个fc的小MLP，然后得到每个embedding。和视觉模块类似，主语和宾语分支会共享权重而关系分支则是独立的。这个模块希望能够将词向量映射到一个比原始词向量空间更具判别性却保持了语义相似性的嵌入空间。对词向量的初始化有很多方法，本文讨论了以下几种：

  1. 预训练好的word2vec词嵌入向量（wiki），本文用这个作为一个baseline

最低0.47元/天 解锁文章

200万优质内容无限畅学
Kivee123
关注
论文阅读：Zoom-Net: Mining Deep Feature Interactions for Visual Relationship Recognition
Kivee的博客
09-21 1334
Zoom-Net（ECCV2018） 文章   Paper展示了通过对local的object feature和global的predicate feature进行深层次的message passing和interaction是增强relationship recognization性能的一个有效途径。为了能够对object和predicate学习好的特征，paper研究了3种可解释的模型。 1...
【TPAMI 2023】【小目标检测综述】Towards Large-Scale Small Object Detection：Survey and Benchmarks
最新发布
weixin_44184852的博客
12-03 4278
摘要——随着深度卷积神经网络的兴起，目标检测在过去几年中取得了显著的进展。然而，这种繁荣并不能掩盖小目标检测（SOD）的不令人满意的情况，SOD是计算机视觉中众所周知的具有挑战性的任务之一，由于小目标的内在结构导致的不良视觉外观和噪声表示。此外，用于对小目标检测方法进行基准测试的大规模数据集仍然是一个瓶颈。在本文中，我们首先对小目标检测进行了全面的回顾。然后，为了促进SOD的发展，我们构建了两个大规模小目标检测数据集（SODA），SODA-D和SODAA，分别关注驾驶和空中场景。
＜Large-Scale Visual Relationship Understanding＞论文阅读
weixin_44030303的博客
02-15 438
＜Large-Scale Visual Relationship Understanding＞论文阅读
Large-scale-VRD.pytorch 环境配置
咖乐部
07-11 340
Large-scale-VRD.pytorch 环境配置
论文阅读：Zoom-Net：Mining Deep Feature Interactions for Visual Relationship Recognition(ECCV18)
qq_40349484的博客
02-13 1375
论文阅读：Zoom-Net：Mining Deep Feature Interactions for Visual Relationship Recognition(ECCV18)
Large-Scale Software Architecture.pdf
09-25
Contents Preface xi Acknowledgments xvii 1 Introduction 1 1.1 What is Software Architecture 1 1.1.1 What software architecture is not 4 1.1.2 Attributes of software architecture 5 1.1.3 Definitions of other key architecture-related terms 7 1.1.4 Other types of architectures 8 1.2 Why Architect? 10 1.3 Architectural Viewpoint Summary 12 1.4 Other Software Architecture Approaches 16 1.4.1 The 4+1 Views 16 1.4.2 RM-ODP viewpoints 17 1.4.3 Bass architectural structures 1.4.4 Hofmeister software architecture views 1.5 Recommended Reading 2 RolesoftheSoftwareArchitect 21 2.1 Relationship to other key roles in development organization 25 Role: project management 25 Role: development team managers 25 Role: system architect/chief engineer 26 Role: chief software engineer 26 Role: hardware architect 27 Role: network architect 27 19 19 19 Role: technical leads of each release 28 Role: data architect 28 Role: systems engineering leads 28 Role: software systems engineering lead 29 2.2 Skills and Background for the Architect 29 2.3 Injecting Architecture Experience 31 2.4 Structuring the Architecture Team 32 2.5 Traps and Pitfalls Associated with the Role of Software Architect 33 2.5.1 Clear definition of leadership 34 2.5.2 Reporting structure for the software architect 34 2.5.3 Geographical location of software architect and technical leads 35 2.5.4 Architecture team size and composition 36 2.5.5 Software architect lifecycle participation 36 2.6 Recommended Reading 37 3 SoftwareArchitectureandtheDevelopment Process 39 3.1 Overview of Iterative Development 39 3.1.1 Overall process phases 40 3.1.2 Lifecycle stages 41 3.1.3 Architecture and agile processes 43 3.1.4 Start early, refine constantly 47 3.2 Requirements Management 48 3.2.1 Use cases and requirements engineering 48 3.2.2 Additional requirements that impact architecture 49 3.2.3 Requirements tracing 49 3.3 Management of the Technology Roadmap 50 3.3.1 External software products 50 3.3.2 Software technology management traps and pitfalls 53 3.3.3 Organizational technology roadmap 54 3.4 Effective Technical Meetings 55 3.4.1 Informal technical meetings 55 3.4.2 Peer reviews and inspections 56 3.4.3 Design reviews 57 3.4.4 Design communication meetings 57 3.4.5 Management meetings 57 3.4.6 Vendor presentations 58 3.4.7 Distributed technical meetings 58 3.5 Traps and Pitfalls of the Software Architecture Process Activities 59 The out-of-touch architect 59 Analysis paralysis 60 Design for reuse 60 Use cases 60 Schedule 60 3.6 Computer-Aided Software Engineering (CASE) Tools 61 3.7 Recommended Reading 62 vi Contents 4 ExampleSystemOverview 63 4.1 System Overview 64 4.2 Overview of System Interfaces 64 4.3 Constraints 67 4.4 Major Operational Requirements and Software Requirements 67 5 UMLQuickTour 69 5.1 UML Diagram Summary 69 5.2 General Diagramming Conventions 72 5.2.1 General UML features: stereotypes, tagged values, multi-instance 73 5.2.2 View labels 74 5.3 The Diagrams 75 5.3.1 Component instance diagrams 75 5.3.2 Class and subsystem diagrams 76 5.3.3 Interaction (sequence and collaboration) diagrams 77 5.3.4 Deployment diagrams 79 5.3.5 Statechart diagrams 80 5.3.6 Activity diagrams 81 5.4 Managing Complexity 81 5.4.1 Use Case focused modeling 82 5.4.2 Element focused modeling 82 5.4.3 Level of detail 83 5.4.4 Controlling the number of models 83 5.4.5 Use Supplemental Textural Information 85 5.5 Recommended Reading 85 6 SystemContext andDomainAnalysis 87 6.1 Conceptual Diagrams 87 6.2 Context Viewpoint 89 6.3 Domain Analysis Techniques 94 6.3.1 A formal analysis technique 95 6.3.2 Other techniques for finding domain entities 98 6.3.3 Analysis shortcuts 100 6.4 Analysis Viewpoints 101 6.4.1 Analysis Interaction Viewpoint 101 6.4.2 Analysis Focused Viewpoint 103 6.4.3 Analysis Overall Viewpoint 105 6.4.4 Candidate subsystem identification 107 6.5 Recommended Reading 108 7 Component DesignandModeling 111 7.1 Overview 111 7.1.1 Component-based development 111 7.1.2 Terminology 112 7.1.3 Communication and interfaces 115 7.1.4 Finding components 115 7.1.5 Qualities of component design 116 Contents vii 7.2 Component Viewpoint 116 7.2.1 Component communication 117 7.2.2 Component interfaces 118 7.2.3 Message-based component modeling 121 7.2.4 Combining interfaces and messaging 124 7.2.5 Comparison of interfaces and messaging 127 7.2.6 Mechanism and performance annotations 128 7.3 Component Interaction Viewpoint 131 7.3.1 Component to Component Interactions 131 7.4 Component State Modeling 133 7.5 Modeling Highly Configurable Component Architectures 137 7.6 Recommended Reading 137 8 SubsystemDesign 139 8.1 Terminology 139 8.2 Modeling Subsystems, Interfaces, and Layers 141 8.2.1 Subsystem Interface Dependency Viewpoint 141 8.2.2 Enhancing the Subsystem Dependency Views with layers 8.2.3 Top-level Dependencies 144 8.2.4 The Layered Subsystem Viewpoint 146 8.3 Mapping Subsystems and Layers to Implementation 151 8.3.1 Subsystems, layers, and build trees 151 8.3.2 Subsystems and components 8.4 Recommended Reading 154 9 TransactionandDataDesign 155 9.1 Logical Data Architecture 155 9.1.1 Logical data model stability 157 9.1.2 Effects of the stable logical data model 158 9.2 Logical Data Viewpoint 159 9.2.1 Logical Data View example 160 9.2.2 Logical Data View for messaging 9.3 Data Model Design – Other Considerations 9.3.1 Data models and layers 164 9.3.2 Data models and reflection 165 9.3.3 Mapping objects to relational database 166 9.4 Transaction Design 169 9.4.1 Transaction concepts 170 9.4.2 Modeling transaction dynamics 171 9.4.3 Transactions and interface design 173 9.5 Recommended Reading 174 10ProcessandDeployment Design 177 10.1 Physical Data Viewpoint 178 10.1.1 Modeling other storage attributes 179 10.1.2 Detailed physical storage modeling 181 10.2 Process Viewpoint 183 viii Contents 16 153 3 16 143 3 TEAMFLY Team-Fly ? 10.2.1 Processes and components 186 10.2.2 Process and component management 186 10.2.3 Process State Viewpoint 189 10.3 Deployment Viewpoint 193 10.3.1 Scalable node design 194 10.3.2 Backup/archive design 199 10.4 Recommended Reading 199 11ArchitectureTechniques 201 11.1 Architecture Development Techniques 201 11.1.1 Commonality and variability analysis 202 11.1.2 Design for change 203 11.1.3 Generative programming techniques 204 11.1.4 Building a skeleton system 205 11.1.5 Prototyping 206 11.1.6 Interface development – Design by Contract 206 11.1.7 Architectural description languages 208 11.1.8 Architecture evaluation 208 11.2 Software Partitioning Strategies – Separation of Concerns 208 11.2.1 Functional decomposition 209 11.2.2 Isolate donfiguration data 210 11.2.3 Isolate hardware-specific components 210 11.2.4 Isolate time-critical components 211 11.2.5 Separate domain implementation model from human interface 211 11.2.6 Separate domain implementation model from implementation technology 211 11.2.7 Separate main function from monitoring 212 11.2.8 Separate fault recovery processing 212 11.2.9 Adaptation of external interfaces 213 11.3 Software Changeability and Dependency Management 213 11.3.1 The stable dependencies principle (SDP) 214 11.3.2 Acyclic dependencies principle 215 11.3.3 Interface Separation Principle 216 11.4 Using Architectural Patterns 216 11.5 Integration Strategies 218 11.5.1 Data-only integration 219 11.5.2 Executable integration 220 11.6 Establishing Architecture to Support Development 221 11.6.1 Configuration and change management 221 11.6.2 Build management 222 11.6.3 Continuous integration 222 11.6.4 Anticipate multi-language development 223 11.6.5 Anticipate tactical development (scripting) 224 11.7 Recommended Reading 225 12ApplyingtheViewpoints 227 12.1 Bottom-Up Architecture Development 227 12.2 Top-Down Architecture Development 229 Contents ix 12.3 Message Protocol and Interface Development 231 12.4 Reengineering Existing Systems 233 12.5 Documenting the Architecture 233 12.6 Conclusions 235 12.6.1 Becoming an architect 235 12.6.2 State of the Practice 237 12.6.3 Looking forward 238 12.6.4 Final thoughts 240 12.7 Recommended Reading 241 Appendix:SummaryofArchitectural Viewpoints 243 Bibliography 251 Index 257
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
CVPR 2022 论文列表（持续更新）
gbstack08的专栏
03-05 1万+
本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为优快云的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
Visual Relationship Detection
shero_Cynthia的博客
03-18 2177
Awesome Visual Relationship Detection: A curated list of visual relationship detection and related area (e.g. object detection, scene graph) resources, inspired by awesome-computer-vision. Contents ...
Visual Semantic Reasoning for Image-Text Matching Kunpeng(ICCV 2019)笔记
weixin_45065738的博客
08-16 594
** Visual Semantic Reasoning for Image-Text Matching Kunpeng(ICCV 2019) ** 目的： 本文和其他图像文本匹配的目标一样，通过将两者映射同一嵌入空间，推断出一个完整句子和图像之间的相似度 。但是本文重点改进了图像的表示。 解决问题： 当前图像表示缺乏与文本对应的全局语义概念？ 具体内容： 找到局部图像区域之间的连接，然后利用GCN进行推理，生成语义关系特征； 利用gate和memory机制对上面提出的语义关系特征进行全局的语义推理，选取
论文记录：Visual Relationship Detection with Language Priors [VR-LP] (ECCV-16)
deepinC博客
01-13 1405
（这里只是记录了论文的一些内容以及自己的一点点浅薄的理解，具体实验尚未恢复。由于本人新人一枚，若有错误以及不足之处，还望不吝赐教） 总结 contributions: 该论文是第一篇提出将 relationship 的 objects 和 predicates 分开独立看待，即 “train visual models for objects and predicates individu...
论文记录：Visual Relationship Detection with Deep Structural Ranking (AAAI-18)
deepinC博客
01-13 1321
（这里只是记录了论文的一些内容以及自己的一点点浅薄的理解，具体实验尚未恢复。由于本人新人一枚，若有错误以及不足之处，还望不吝赐教） 总结 两大挑战： different from individual object learning tasks, the number of possible relationships are much larger, which makes it hard...
Large-scale Scene Understanding (LSUN) 竞赛
家家的专栏
06-02 1945
http://lsun.cs.princeton.edu/#organizers
论文阅读：Visual Translation Embedding Network for Visual Relation Detection
Kivee的博客
10-09 2822
VTransE（CVPR 2017）   Paper自称VtranE是第一个采用full-conv的end-to-end的relation detection架构，是同时进行object detection和relation detection的。VTransE将object特征转换到一个低维的relation空间，在这个空间里，relation可以被建模成简单的转换向量（translation ...
Evolution of Image Classifiers，进化算法在神经网络结构搜索的首次尝试 | ICML 2017
晓飞的算法工程笔记
03-09 985
论文提出使用进化算法来进行神经网络结构搜索，整体搜索逻辑十分简单，结合权重继承，搜索速度很快，从实验结果来看，搜索的网络准确率挺不错的。由于论文是个比较早期的想法，所以可以有很大的改进空间，后面的很大算法也是基于这种想法进行更好的补充   来源：晓飞的算法工程笔记 公众号 论文: Large-Scale Evolution of Image Classifiers 论文地址：https:/...
Large-Scale Evolution of Image Classifiers翻译
nopSled
09-12 533
摘要 事实证明，神经网络能够有效解决各类困难问题，但是设计其网络结构可能具有挑战性，即使仅针对图像分类问题也是如此。我们的目标是最大程度地减少人类的参与，因此我们采用进化算法来自动发现此类网络。尽管有大量的计算需求，但我们表明，现在可以开发出精度在去年发布的范围内的模型。具体来说，我们以前所未有的规模采用简单的进化算法来发现CIFAR-10和CIFAR-100数据集的模型，从琐碎的初始条件开始，准确度分别达到94.6％和77.0％。为此，我们使用新颖直观的变异操作来在较大的搜索空间进行搜索。我们表明，一旦进
计算机视觉相关数据集和比赛
NodYoung
03-30 1万+
一. ImageNet Large Scale Visual Recognition Competition (ILSVRC)Imagenet数据集是目前深度学习图像领域应用得非常多的一个数据集，关于图像分类、定位、检测等研究工作大多基于此数据集展开。Imagenet数据集有1400多万幅图片，涵盖2万多个类别；其中有超过百万的图片有明确的类别标注和图像中物体位置的标注。Imagenet数据集文档详
标识别,人脸识别等常用数据集
generalsong的博客
09-23 8880
参考博客:https://www.cnblogs.com/weiyinfu/p/8016405.html#32 常用数据集 一、Cifar数据集 Hinton参与收集 彩色图像（RGB） 图像尺寸相同 分为两种：Cifar10和Cifar100 用于图片分类 Cifar10包含60000条数据，50000条用于训练，10000条用于测试。这60000条数据中，包含10类，每类6000张图片（5000训练，1000测试）。 Cifar100包含60000条数据，100类图片，每类600张（50.
大规模图像检索深度特征：Large-Scale Image Retrieval with Attentive Deep Local Features
Shawn
08-21 9762
在今年CVPR的“Revisiting Oxford and Paris_ Large-Scale Image Retrieval Benchmarking”一文中，对比了当前几种比较优异的图像检索算法在landmark中的表现，其中由“Large-Scale Image Retrieval with Attentive Deep Local Features”提出的DELF特征展现出最为突出的检...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值