《Dual-Key Multimodal Backdoors for Visual Question Answering》
总概括:
- 1.使用编码网络生成trigger图片
- 2.将trigger添加到良性图片样本上
- 3.提取图像特征后保存
- 4.训练
f:feature
d:data
- make_specs.py
- 用于自动生成规范 .csv 文件的工具
- * __ALL__ 分叉当前规范并应用所有选项(仅适用于选择变量)
- * __SEQ__ 在选择之间进行迭代并按顺序分配(仅适用于选择变量)
- * __RAND__k 创建 k 个分支并为每个分支分配不同的随机值
- orchestrator.py
- Job orchestrator,用于从规范文件中运行实验或一组实验。
- 通过在 --sf 标志后传递规范文件来指定作业。给定的文件可以包含特征规范、数据集规范或模型规范。如果给定了数据集或模型规范,orchestrator还将加载相应的特征和/或数据集作业进行运行或检查。
- 默认情况下,orchestrator将加载并运行规范文件中所有行的所有作业。或者,您可以使用 --rows 或 --ids 标志指定要运行的作业子集。
- --rows 设置可以以几种方式给出:

该文章介绍了一种针对视觉问答任务的双密钥多模态后门攻击方法。它涉及生成触发图片,将其添加到良性样本上,提取特征并保存,然后进行训练。研究中使用了`make_specs.py`工具生成实验规范文件,`orchestrator.py`协调执行实验。实验流程包括特征提取、数据集合成以及模型训练,涉及不同比例的中毒数据。同时,文章还涵盖了在干净和中毒数据上训练模型的过程,以评估模型的性能和鲁棒性。
最低0.47元/天 解锁文章

1万+

被折叠的 条评论
为什么被折叠?



