lch的博客

常用LaTex指令

ms961516792 — Mon, 22 Nov 2021 16:18:13 +0800

目录表格跨行表格图片双栏图片单栏图片多图（左中右）字体加粗斜体公式加粗（向量）花体（只适用于大写字母）引用参考文献引用图片/表格/公式等脚注表格跨行表格 \begin{table*}[htbp] \small \centering \setlength{\tabcolsep}{12mm}{ \begin{tabular}{lccc} \hline\noalign{\smallskip} \multicolumn{1}{l}{xxx} & \multicolumn{3}{c}{

CVPR 2021 《Domain-robust VQA with diverse datasets and methods but no target labels》论文笔记

ms961516792 — Thu, 17 Jun 2021 20:37:10 +0800

目录简介动机方法实验简介论文链接动机由于cv中的方法通常会过拟合数据集，所以很多学者尝试让这些方法对“域变化”鲁棒。但是，这些domain adaptation方法并不适用于VQA任务，主要由于三个原因： VQA任务的输入是多模态的； VQA方法由不同的模块构成了多个步骤，导致优化复杂；不同的VQA数据集的answer space是不同的。为了应对上述问题，作者主要做了以下三个方面的工作：量化不同VQA数据集之间的domain shift，并在image和question domain

CVPR 2021 《Causal Attention for Vision-Language Tasks》论文笔记

ms961516792 — Tue, 11 May 2021 10:36:57 +0800

目录简介动机方法实验简介本文出自张含望老师课题组。论文链接动机文章的第一句就说明了本文的动机，也就是，本文提出了一个新颖的注意力机制，可以消除现有的基于注意力的视觉语言方法中的混杂效应。混杂效应会造成有害的bias，误导注意力模块学到数据中的虚假相关，从而降低模型的泛化性。由于混杂是不可观测的，所以作者使用了前门调整策略实现因果干预。方法现有的方法中通常是建模公式1：作者认为，应该建模P(Y∣do(X))P(Y|do(X))P(Y∣do(X))。但是由于混杂的存在，P(Y∣do(X

因果推断 - 中介

ms961516792 — Mon, 19 Apr 2021 22:58:02 +0800

目录基础知识中介公式版权：转载前请联系作者获得授权。参考书籍：《The Book of Why》——Judea Pearl、论文基础知识对于下面的因果图，MMM是XXX和YYY之间的中介。直接效应：扰动XXX而保持MMM恒定时，对YYY的影响即为直接效应。间接效应：保持XXX恒定，并将MMM增加到XXX增加1个单位的情况下MMM所能达到的量，此时YYY的增量即为XXX对YYY的间接效应。受控直接效应：CDE(0)=P(Y=1∣do(X=1),do(M=0))−P(Y=1∣do(X=0),d

因果推断 - 反事实

ms961516792 — Mon, 19 Apr 2021 19:47:23 +0800

目录基础知识案例实战版权：转载前请联系作者获得授权。声明：部分内容出自因果关系之梯，已获得原作者授权。参考书籍：《The Book of Why》——Judea Pearl 基础知识定义：对于包含外生变量UUU和内生变量XXX和YYY的SCM，形如YX=x(U=u)=yY_{X=x}(U=u)=yYX=x(U=u)=y表示“在U=uU=uU=u的情况下，如果X=xX=xX=x，则Y=yY=yY=y”。其中，YX=x(U=u)=yY_{X=x}(U=u)=yYX=x(U=u)=y可以简写为Yx(

因果推断 - 干预

ms961516792 — Mon, 19 Apr 2021 19:36:09 +0800

目录基础知识干预前门准则、后门准则后门调整逆概率加权前门调整版权：转载前请联系作者获得授权。声明：部分内容出自因果关系之梯，已获得原作者授权。参考书籍：《The Book of Why》——Judea Pearl 基础知识干预定义：将因果图中结点XXX的值修改为xxx，记为do(X=x)do(X=x)do(X=x)，可以简写为do(x)do(x)do(x)。性质：在对结点X进行干预时，会删除因果图中指向X的边。与“以变量为条件”的区别：表现形式：P(Y=y∣X=x)P(Y=y | X=x

因果推断 - 基础知识

ms961516792 — Mon, 19 Apr 2021 18:58:57 +0800

目录因果关系之梯因果图的路径结构阻断d-分离混杂结构因果模型(SCM) 因果关系之梯因果关系之梯可以分为三个层次（由低到高）：关联：X和Y是否相关，有没有互相影响。干预：如果改变X，Y会有什么变化？反事实：如果想让Y发生变化，能否通过改变X来实现？因果图的路径结构因果图的路径结构可以分为三种：链式：X -> Z -> Y 叉式：X <- Z -> Y 对撞：X -> Z <- Y 在两种情况下，节点之间具有相关性（不相互独立）：有信息从一个节点流

python输出到文件

ms961516792 — Wed, 07 Apr 2021 09:22:38 +0800

通过改变sys.stdout使结果输出到文件。 import sys import os def mkdir_if_missing(dir_path): try: os.makedirs(dir_path) except OSError as e: if e.errno != errno.EEXIST: raise class Logger(object): def __init__(self, fpath=None):

AAAI 2021 《Regularizing Attention Networks for Anomaly Detection in Visual Question Answering》论文笔记

ms961516792 — Thu, 18 Mar 2021 15:21:53 +0800

目录简介动机方法实验简介本文是POSTECH和Kakao合作的一篇文章。论文链接动机异常检测有助于提升模型的稳定性和可靠性，也就是鲁棒性，OOD问题也可以视为一种异常。但是，单模态的异常检测（MSP）并不能轻易的使用到VQA这种多模态任务中。作者提出了一种基于attention的方法（MAP），可以对VQA中的五种异常进行检测。方法首先，作者将VQA任务中的异常情况分为五种，也就是五个TASK。 TASK1~TASK3 这三个TASK很好理解，就是在输入的视觉信息VVV和语言信息QQQ中，

EMNLP 2020 《MUTANT: A Training Paradigm for Out-of-Distribution Generalization in VQA》论文笔记

ms961516792 — Wed, 17 Mar 2021 22:47:47 +0800

目录简介动机方法实验简介论文链接动机 VQA中的语言先验问题，也可以说是OOD问题（Out-Of-Distribution）。使用额外的单独分支减轻模型学得语言先验的一类方法试图消除所有的Q-A bias，作者认为这是适得其反的。而本文的出发点是让模型关注正向bias，消除负面bias。正向bias如：对于“what is the color of xxx”问题，模型应回答“颜色”类答案，负面bias如：“香蕉是黄色的”这种语言先验。方法在我个人看来，本文方法可视为一种数据增强。对于数据集中的一个

arXiv 2021《Transformer in Transformer》论文笔记

ms961516792 — Mon, 08 Mar 2021 23:00:26 +0800

目录简介动机方法实验简介本文出自华为诺亚方舟，作者是韩凯。文章链接动机本文动机是，在ViT基础上，编码patch内的pixel之间的结构信息。方法使用两个transformer，外transformer负责编码大小为16×1616 \times 1616×16的patch之间的关系，内transformer负责编码大小为4×44 \times 44×4的super-pixel之间的关系。实验本文方法的实验结果也很好。 ...

2021.02.23 Visual QA论文阅读

ms961516792 — Tue, 23 Feb 2021 17:01:29 +0800

目录[2020][NeurIPS]Multimodal Graph Networks for Compositional Generalization in Visual Question Answering 文章链接文章链接 [2020][NeurIPS]Multimodal Graph Networks for Compositional Generalization in Visual Question Answering 文章链接本文的动机很明确，就是组合泛化。什么是组合泛化

Transformer、BERT学习笔记

ms961516792 — Sat, 20 Feb 2021 20:01:20 +0800

目录TransformerBERT题目 Transformer BERT 题目 Pre-training of Deep Bidirectional Transformers for Language Understanding 下载链接

2021.02.18 Visual QA论文阅读

ms961516792 — Thu, 18 Feb 2021 20:39:53 +0800

目录[2017][CVPR] Graph-Structured Representations for Visual Question Answering[2019][ICCV] Language-Conditioned Graph Networks for Relational Reasoning[2019][ICCV] Relation-Aware Graph Attention Network for Visual Question Answering[2020][CVPR] Multi-Modal

2021.02.05 Visual QA论文阅读

ms961516792 — Fri, 05 Feb 2021 18:12:29 +0800

目录[2016][ECCV] Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering[2016][ECCV] Learning Models for Actions and Person-Object Interactions with Transfer to Question Answering [2016][ECCV] Ask, Attend and Answer:

2021.02.04 Visual QA论文阅读

ms961516792 — Thu, 04 Feb 2021 23:05:16 +0800

目录[2016][CVPR] Where To Look: Focus Regions for Visual Question Answering[2016][CVPR] Yin and Yang: Balancing and Answering Binary Visual Questions [2016][CVPR] Where To Look: Focus Regions for Visual Question Answering 文章链接本文的motivation很明确——knowing where

2021.02.03 Visual QA论文阅读

ms961516792 — Wed, 03 Feb 2021 18:02:35 +0800

目录[2016][CVPR] Stacked Attention Networks for Image Question Answering[2016][CVPR] Visual7W: Grounded Question Answering in Images [2016][CVPR] Stacked Attention Networks for Image Question Answering 文章链接本文出自CMU+微软研究院（何晓冬），应该是第一篇提出VQA需要多步推理的文章。本文的动机来自于：在V

2021.02.02 Visual QA论文阅读

ms961516792 — Tue, 02 Feb 2021 23:30:40 +0800

目录[2016][CVPR] Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction[2016][CVPR] Neural Module Networks [2016][CVPR] Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction 文章链接

2021.02.01 Visual QA论文阅读

ms961516792 — Mon, 01 Feb 2021 21:52:52 +0800

目录[2015][NIPS] Are You Talking to a Machine Dataset and Methods for Multilingual Image Question Answering[2015][NIPS] Exploring Models and Data for Image Question Answering [2015][NIPS] Are You Talking to a Machine Dataset and Methods for Multilingual Imag

2021.01.30 Visual QA论文阅读

ms961516792 — Sat, 30 Jan 2021 18:49:04 +0800

目录[2015][ICCV] Ask Your Neurons A Neural-Based Approach to Answering Questions About Images[2015][ICCV] Visual Madlibs: Fill in the blank Description Generation and Question Answering[2015][ICCV] VQA: Visual Question Answering [2015][ICCV] Ask Your Neurons