论文阅读：Detecting and Recognizing Human-Object Interactions

最新推荐文章于 2023-08-25 09:11:01 发布
原创 最新推荐文章于 2023-08-25 09:11:01 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scene understanding

InteractNet是一种用于人类-物体交互检测的模型，采用RPN获取proposal，通过RoIAlign提取特征。模型包含object detection和human-centric分支，前者进行box regression和分类，后者评估动作及定位目标物体。此外，利用object特征计算动作得分，与human-centric得分结合，通过Cascaded Inference降低计算复杂度。
部署运行你感兴趣的模型镜像

InteractNet（CVPR2018）

文章链接

V-COCO ：40.0%


InteractNet

首先用RPN得到proposal，然后用RoIAlign提取每个proposal的特征。接下来：
- object detection分支，进行box regression和classification；
- human-centric分支，判断box内人的动作，每个动作给一个score，并且尝试定位target物体的位置，我想应该是每个动作都有一个target位置，给出一个可能在的位置的高斯分布，感觉和LiFeifei她们那篇referring relationship的论文有点像，这样做有一个很强的假设：box内的特征表明了动作的受体的位置；
- 利用object的特征，也计算得到关于动作的score，然后将其和第二步得到的分数相加并过sigmoid。

这里写图片描述

上式代表对于某对human-object是关系a的分数，前两项分别是human和object的类别分数，第三项是human-centric branch或者interaction branch产生的动作分数，第四项是由h和a推断的target的位置和o的位置的近似程度，值越大越好，我感觉是判断是否有关系的一种手段，另一种手段是直接用h和o的特征进行计算。 Cascaded Inference:由于这种从单个h或者o得到a的计算方式，计算复杂度只有O(n)，许多别的方法是两两concat计算，计算复杂度是O(n^2)。即便选择进行interaction branch，虽然时间复杂度也是O(n^2)，但由于是简单的加法，所以计算时间依然非常地少！

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

Kivee123
关注
CVPR 2018 |Detecting and Recognizing Human-Object Interactions阅读笔记
weixin_59340037的博客
04-17 2301
在视觉世界，计算机不仅需要识别出单个目标实例，同时还要识别出他们之间是如何交互的。人类往往是这种交互的核心，并且检测人物交互是一个重要的实践问题与科学问题，本文中，解决了具有挑战性的日常照片的<人，动作，物体>三元组的检测任务。提出了一个以人为中心的模型。假设一个人的外貌（姿势，着装，动作）是用于定位他们交互的对象的非常有效的线索，为了利用这种线索，模型学习根据被检测的人的外貌去预测目标物体位置的作用与密度。该模型可以联合学习来检测人类和物体，通过将这些预测融合起来。
HICO: A Benchmark for Recognizing Human-Object Interactions in Images论文阅读笔记
qq_46805191的博客
03-10 835
前言 论文原文地址点这里，这是2015年发表在ICCV上的一篇论文 笔记 本文作者提出了一个用于人和物体交互的新的数据集HICO。这个数据集的特点是有许多常见的物体类别（80种）、基于语义的注释（即将fix the bike和 repair the bike看做同一类别，因为语义上是一个意思）、还仔细标注了在每一张图片中与一个物体类别同时发生的多个交互。 introduction部分作者主要就是阐述（shed light on）了现在有的数据集的一些问题，然后突出自己的数据集的特点，同时经过统计作者
Detecting and Recognizing Human-Object Interactions
10-12
要理解视觉世界，机器不仅必须识别单个目标，还必须识别它们是如何交互的。本文提出了一种新的模型，挑战日常照片中检测⟨人类、动词、目标⟩三元组的任务。
论文阅读笔记（二十九）：Detecting and Recognizing Human-Object Interactions
sunshine_010的博客
04-22 1498
To understand the visual world, a machine must not only recognize individual object instances but also how they interact. Humans are often at the center of such interactions and detecting human-object...
【论文笔记】CVPR2018 Detecting and Recognizing Human-Object Interactions
elaine_bao的专栏
06-19 2588
Paper：https://arxiv.org/abs/1704.07333 作者：Georgia Gkioxari, Ross Girshick, Piotr Dollár, Kaiming He。 从题目中看出这篇文章主要是研究人与物的互动。根据统计，CVPR2018中分析图像中的人类的有100多篇，说明人们开始关注对图像中主体和关系的理解（这也是Graph Network火的原因）。 ...
论文笔记之Learning Human-Object Interaction Detection using Interaction Points
加油
07-25 2869
直接预测人-物的交互点和交互向量（用于分组），再与人/物检测结果关联得到最终结果。 CVPR2020接收 论文地址：https://arxiv.org/abs/2003.14023 1. 摘要 理解人与物体之间的相互作用是视觉分类的基本问题之一，也是实现详细场景理解的重要步骤。人与物体之间的交互（HOI）检测力求既定位人与物体，又确定它们之间的复杂交互。 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。 作者认为，仅外观特征不足以捕获复杂.
Detecing and Recognizing Human-Object Interactions
03-12
Kaiming He Facebook AI Research Detecting and Recognition Human-Object Interactions
图像理解--Detecting and Recognizing Human-Object Interactions
AI小作坊 的博客
06-05 5436
Detecting and Recognizing Human-Object Interactions https://arxiv.org/abs/1704.07333大牛们已经从图像的检测分割向图像理解的研究方向过度了！本文主要关注图像中的 人 和 物体的关系检测和识别，这种关系可以用一个三元素
CVPR2018 Detecting and Recognizing Human-Object Interactions阅读笔记
yang_daxia的博客
10-11 417
1.Introduction 本文不仅检测object, 还把object分为human和物体, 考虑任何物体的关联关系. 目的是学习一个三元组关系<human, action, object> 2.method 作者 在fast rcnn基础上扩展来个分支, 获得三元组的score, 该score由4部分组成: Sh,oa=sh⋅so⋅sha⋅gh,oa(1) S_{h, o}^...
Paper Reading: Detecting and Recognizing Human-Object Interactions
weixin_38328084的博客
05-06 465
Abstract Introduction 得益于深度学习的特征表征方法，基于视觉信号对单独个体进行识别的工作有了很大的提升，如物体检测和人的动作姿态估计。但是，识别单一个体只是机器进行视觉世界理解的一小步，对个体间关系的识别对图像理解尤为重要。本文中我们聚焦于人-物交互关系的研究。 人-物交互关系识别的任务可以理解成是对<人，动作，物品>三元组合的检测任务，该任务具有很大的应用价值和...
READING NOTE: Learning to Detect Human-Object Interactions
joshua_1988
02-28 1249
TITLE: Learning to Detect Human-Object Interactions
目标检测学习笔记（一）：InteractNet
懿翛簃
08-24 1372
目标检测学习笔记：InteractNet-论文学习笔记，简述模型思想原理及基本框架构成，对其训练及测试过程，以及损失函数的描述、核心思想目标定位的原理计算进行解释说明。对评价指标，目标定位，多任务训练以及级联式测试过程进行系统化的阐述。
HOI(人物交互 & Contact)相关工作——Dataset 篇
weixin_43765589的博客
08-25 9836
知识驱动的行为理解，构建了一个人类活动理解的数据集用于「人-物交互检测」的可迁移交互知识|数据集|迁移|检测|物体|数学|模型|-健康界。
论文阅读：iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection
Kivee的博客
09-13 1594
iCAN(BMVC2018) 文章   在InteractNet上做的改进,达到了 V-COCO 45.3%。 在由h或者o计算a的分数时，不止用它们本身的特征，还concat了context特征，contex特征则是根据intance产生的注意力在原图的特征上得到的。 同样需要判断h和o是否有关系，该方法是用空间的interaction pattern（neural-motif中有这个...
「产品读书」俞军产品方法论
女王の专属领地
04-20 9005
在阅读这本书之前，第一个能想到的同等的产品书籍就是网易的《幕后产品》，对于我来说，网易的产品一直是我最为钦佩和喜欢的，但是互联网界的产品名声最大的除了张小龙，我估计就是俞军了，读这本书之前我提前看了豆瓣和知乎的一些推荐，最后还是没忍住打算研读一番，关于俞军，我觉得需要大家去看看俞军产品背后的一些故事！
-- The C compiler identification is GNU 7.5.0 -- The CXX compiler identification is GNU 7.5.0 -- Detecting C compiler ABI info -- Detecting C compiler ABI info - done -- Check for working C compiler: /usr/bin/cc - skipped -- Detecting C compile features -- Detecting C compile features - done -- Detecting CXX compiler ABI info -- Detecting CXX compiler ABI info - done -- Check for working CXX compiler: /usr/bin/c++ - skipped -- Detecting CXX compile features -- Detecting CXX compile features - done -- Using ccache: /usr/bin/ccache -- System processor: x86_64 -- Performing Test CXX_SUPPORTS_SSE4_2 -- Performing Test CXX_SUPPORTS_SSE4_2 - Success -- Performing Test CXX_SUPPORTS_AVX2 -- Performing Test CXX_SUPPORTS_AVX2 - Success -- Performing Test CXX_SUPPORTS_AVX512 -- Performing Test CXX_SUPPORTS_AVX512 - Success -- Arrow build warning level: PRODUCTION -- Using ld linker -- Build Type: release -- CMAKE_C_FLAGS: -Wall -fno-semantic-interposition -msse4.2 -fdiagnostics-color=always -fno-omit-frame-pointer -Wno-unused-variable -Wno-maybe-uninitialized -- CMAKE_CXX_FLAGS: -Wno-noexcept-type -Wall -fno-semantic-interposition -msse4.2 -fdiagnostics-color=always -fno-omit-frame-pointer -Wno-unused-variable -Wno-maybe-uninitialized -- Generator: Unix Makefiles -- Build output directory: /tmp/pip-install-ccnxvmf3/pyarrow_eb3cbbe6d8bb4a1099e522394e0af370/build/temp.linux-x86_64-cpython-310/release -- Found Python3: /user/yangyifan/miniconda3/envs/det/bin/python3.10 (found version "3.10.18") found components: Interpreter Development.Module NumPy -- Found Python3Alt: /user/yangyifan/miniconda3/envs/det/bin/python3.10 -- Found NumPy version: 2.2.6 -- NumPy include dir: /tmp/pip-build-env-8vcdp0nc/overlay/lib/python3.10/site-packages/numpy/_core/include -- Found Cython version: 3.2.1 CMake Error at CMakeLists.txt:289 (find_package): By not providing "FindArrow.cmake" in CMAKE_MODULE_PATH this project has asked CMake to find a package configuration file provided by "Arrow", but CMake did not find one. Could not find a package configuration file provided by "Arrow" with any of the following names: ArrowConfig.cmake arrow-config.cmake Add the installation prefix of "Arrow" to CMAKE_PREFIX_PATH or set "Arrow_DIR" to a directory containing one of the above files. If "Arrow" provides a separate development package or SDK, be sure it has been installed. -- Configuring incomplete, errors occurred! error: command '/user/yangyifan/cmake-3.27.4-linux-x86_64/bin/cmake' failed with exit code 1 [end of output] note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for pyarrow ERROR: Failed to build installable wheels for some pyproject.toml based projects (pyarrow)
最新发布
11-15
<think> 根据用户的问题，他在使用CMake构建pyarrow时出现了找不到Arrow包配置文件（ArrowConfig.cmake或arrow-config.cmake）的问题。结合用户提供的引用内容，特别是引用[1]、[3]、[5]中提到的类似问题，我们可以知道这类问题通常是由于CMake无法定位到所需的库配置文件。 解决思路： 1. 确保Arrow库已经正确安装（包括开发包）。 2. 如果Arrow库安装在非标准路径，需要设置环境变量或CMake变量（如CMAKE_PREFIX_PATH、Arrow_DIR）来指示配置文件的位置。 3. 在构建pyarrow时，确保CMake能够找到这些路径。 具体步骤： 步骤1：确认Arrow库的安装 首先，确保已经安装了Arrow库及其开发文件。如果未安装，需要先安装。安装方式可能包括： - 从源码编译安装 - 使用包管理器安装（如apt、yum等） - 使用conda安装 例如，在Ubuntu上可以使用： ```bash sudo apt install libarrow-dev libparquet-dev ``` 步骤2：查找ArrowConfig.cmake文件 安装完成后，需要找到ArrowConfig.cmake或arrow-config.cmake文件的位置。通常，这些文件会放在Arrow库的安装路径下的某个目录中，例如： - /usr/lib/cmake/arrow/ - /usr/local/lib/cmake/arrow/ - 或者自定义安装路径下的lib/cmake/arrow/ 可以通过以下命令来查找： ```bash sudo find / -name "ArrowConfig.cmake" 2>/dev/null ``` 或者 ```bash sudo find / -name "arrow-config.cmake" 2>/dev/null ``` 步骤3：设置CMake查找路径 找到配置文件所在的目录后，需要将该目录添加到CMake的搜索路径中。有以下几种方法： 方法A：在CMake命令行中指定路径 在运行CMake时，通过`-D`选项设置`Arrow_DIR`变量为包含配置文件的目录： ```bash cmake -DArrow_DIR=/path/to/arrow/config/directory ... ``` 方法B：设置环境变量`CMAKE_PREFIX_PATH` 将包含配置文件的目录（或者其上级目录，通常是lib/cmake/arrow的上级目录，即安装路径）添加到`CMAKE_PREFIX_PATH`环境变量中： ```bash export CMAKE_PREFIX_PATH=/path/to/arrow/install:$CMAKE_PREFIX_PATH ``` 然后重新运行CMake。 方法C：在CMakeLists.txt中设置变量 如果用户有权修改构建pyarrow的CMakeLists.txt文件，可以在其中添加： ```cmake set(Arrow_DIR "/path/to/arrow/config/directory") ``` 步骤4：重新构建 设置好路径后，重新运行CMake构建命令。 步骤5：如果仍找不到，考虑检查版本兼容性 确保安装的Arrow库版本与pyarrow要求的版本兼容。 步骤6：使用conda环境（可选） 如果用户使用的是conda环境，可以尝试在conda环境中安装arrow，这样通常可以自动解决依赖问题： ```bash conda install -c conda-forge arrow ``` 参考用户提供的引用[5]中解决glog问题的方法：在CMakeLists.txt中指定路径。类似地，我们可以为Arrow指定路径。 示例：假设通过查找发现配置文件位于`/usr/local/lib/cmake/arrow`，那么在运行cmake时： ```bash cmake -DArrow_DIR=/usr/local/lib/cmake/arrow ... ``` 或者，如果使用环境变量： ```bash export Arrow_DIR=/usr/local/lib/cmake/arrow cmake ... ``` 注意：有时可能需要设置`CMAKE_PREFIX_PATH`为Arrow的安装前缀（即包含`lib`、`include`等目录的路径），例如： ```bash export CMAKE_PREFIX_PATH=/usr/local:$CMAKE_PREFIX_PATH ``` 总结：关键是要让CMake找到Arrow的配置文件，通过设置正确的路径变量。 如果上述方法都不行，可能需要重新安装Arrow库，并确保安装时启用了CMake配置文件的生成（通常默认是启用的）。 根据引用[3]中解决OpenCVConfig.cmake找不到的方法，同样可以手动指定路径。 另外，引用[4]提到pkg-config的问题，如果Arrow库提供了.pc文件，也可以通过设置PKG_CONFIG_PATH来帮助CMake找到，但通常CMake的find_package机制与pkg-config是独立的，所以主要关注find_package的配置。 因此，解决步骤概括为： 1. 确认Arrow已正确安装。 2. 定位ArrowConfig.cmake或arrow-config.cmake文件。 3. 通过设置Arrow_DIR或CMAKE_PREFIX_PATH来指示该文件所在目录。 4. 重新运行CMake。 下面给出一个完整的示例： 假设通过源码编译安装了Arrow到目录`/opt/arrow`，那么配置文件通常位于`/opt/arrow/lib/cmake/arrow`。在构建pyarrow之前，设置： ```bash export Arrow_DIR=/opt/arrow/lib/cmake/arrow # 或者 export CMAKE_PREFIX_PATH=/opt/arrow:$CMAKE_PREFIX_PATH ``` 然后在pyarrow的构建目录中运行： ```bash cmake ... [其他参数] ... ``` 这样，CMake就能找到Arrow的配置文件了。 如果用户没有系统权限，可以将Arrow安装在用户目录下，然后设置上述变量指向用户目录下的路径。 注意：在构建pyarrow时，可能还需要其他依赖（如Parquet、Plasma等），同样需要确保这些依赖的配置文件也能被找到，方法类似。 最后，如果问题依然存在，可以检查CMake输出的详细错误信息，可能会有更具体的提示。 根据引用[1]和[2]中关于catkin_make找不到cmake_modules的问题，我们可以借鉴其解决方案：将缺失包的安装前缀添加到CMAKE_PREFIX_PATH。因此，对于Arrow，我们同样可以这样做。 综上所述，请用户按照上述步骤尝试解决。 注意：在运行cmake命令时，如果使用pip安装pyarrow，可能需要设置环境变量，因为pip在构建时也会调用cmake。可以尝试： ```bash export Arrow_DIR=/path/to/arrow/config/dir pip install pyarrow --no-cache-dir ``` 或者使用pip安装时指定构建选项（如果支持的话）。 希望这些方法能够解决用户的问题。 </think> 在构建 PyArrow 时遇到找不到 Arrow 包配置文件的问题，通常是由于 CMake 无法定位 Arrow 库的安装路径。以下是系统化的解决方案： ### 原因分析 1. **Arrow 库未正确安装**：缺少核心库文件 2. **环境变量未配置**：CMake 无法自动发现安装路径 3. **版本不匹配**：PyArrow 与 Arrow C++ 库版本不一致 4. **多版本冲突**：系统存在多个 Arrow 版本 --- ### 解决方案（逐步操作） #### 步骤 1：验证 Arrow 安装 ```bash # 检查 Arrow 核心库是否安装 ls /usr/local/lib | grep libarrow # 确认配置文件是否存在 find /usr -name "*ArrowConfig.cmake" 2>/dev/null ``` #### 步骤 2：手动指定路径（最有效方案） 在 CMake 命令中**显式指定 Arrow 路径**： ```bash cmake -DCMAKE_PREFIX_PATH=/path/to/arrow/install .. ``` 或设置环境变量： ```bash # 临时生效 export Arrow_DIR=/path/to/arrow/install/lib/cmake/arrow # 永久生效（添加到 ~/.bashrc） echo 'export Arrow_DIR=/path/to/arrow/install/lib/cmake/arrow' >> ~/.bashrc source ~/.bashrc ``` > 📌 路径查找技巧： > 使用 `find / -name "*ArrowConfig.cmake" 2>/dev/null` 定位实际路径 #### 步骤 3：源码编译 Arrow（推荐） ```bash # 1. 下载源码 git clone https://github.com/apache/arrow.git cd arrow/cpp # 2. 创建构建目录 mkdir build && cd build # 3. 配置安装到用户目录 cmake -DCMAKE_INSTALL_PREFIX=$HOME/.local \ -DARROW_PARQUET=ON \ -DARROW_PYTHON=ON .. # 4. 编译安装 make -j$(nproc) make install # 5. 设置环境变量 echo 'export CMAKE_PREFIX_PATH=$HOME/.local:$CMAKE_PREFIX_PATH' >> ~/.bashrc source ~/.bashrc ``` #### 步骤 4：安装依赖（关键） ```bash # Ubuntu/Debian sudo apt install libboost-all-dev libbrotli-dev liblz4-dev libzstd-dev # CentOS/RHEL sudo yum install boost-devel brotli-devel lz4-devel zstd-devel ``` #### 步骤 5：验证配置 创建测试文件 `FindArrow.cmake`： ```cmake find_package(Arrow REQUIRED) message(STATUS "Arrow found at: ${Arrow_DIR}") ``` 运行： ```bash cmake -P FindArrow.cmake ``` 成功输出应显示：`Arrow found at: /your/path/...` --- ### 高级调试技巧 1. **检查版本兼容性**： ```bash # 查看已安装 Arrow 版本 arrow --version ``` 确保 PyArrow 与 Arrow C++ 库版本匹配 2. **强制 CMake 搜索路径**： ```cmake # 在 CMakeLists.txt 中添加 set(CMAKE_MODULE_PATH ${CMAKE_MODULE_PATH} "/custom/path/to/cmake/modules") ``` 3. **使用 pkg-config 辅助**： ```bash # 安装 pkg-config 支持 sudo apt install pkg-config # 验证 pkg-config --modversion arrow ``` --- ### 典型错误解决 错误提示： ```text Could not find a package configuration file provided by "Arrow" ``` 解决方案： 1. 确认文件存在：`ls /your/path/lib/cmake/arrow/ArrowConfig.cmake` 2. 设置环境变量：`export Arrow_DIR=/your/path/lib/cmake/arrow` 3. 重新生成构建缓存：`rm -rf build && mkdir build && cd build` > 💡 参考引用[3][5]的方案：手动指定包含 *Config.cmake 文件的目录路径[^3][^5]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值