- 博客(90)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 ES6D: 利用对称性进行高效的6D姿态检测
在6D姿态检测中，一些具备对称性的物体，比如球、圆盘等，有着多个等价的姿态那么能否利用这种对称性，对计算精度进行提升呢？该文章提出了一个全卷积的特征提取网络XYZNet，比 PVN3D[1]以及 DenseFusion[2]要更加高效这个工作主要是两个特点：（1）使用了2D卷积来统一处理深度和RGB信息（2）考虑了物体的对称性，引入新的误差。
2023-05-09 16:59:04
1063
1
原创 PointNet：利用深度学习对点云进行3D分类和语义分割
这次介绍的是一个比较基础的工作，针对空间点云，进行分类或者语义分割的框架，现在通常也被用作对RGB-D图像进行特征提取的部分。该工作的目的就是，输入点云信息，得到每一个点的语义，或者是得到整个点云代表的物体信息。如上图所示，该工作可以对点云数据进行分类，语义分割，部分分割等。
2023-05-08 16:58:23
1018
原创 6D目标检测简述
6D目标检测，和传统的目标检测类似，都是从图像（包括点云）中去识别物体的位置。传统的2D目标检测，像是SSD、YOLO等，识别的结果是一个边界框（bounding box）而3D目标检测的结果则是一个3D的边界框。物体的空间坐标：x, y, z物体的三个旋转角: pitch, yaw, roll基于模版匹配基于点基于描述子基于特征方法优点缺点基于模版匹配擅长针对无纹理或者弱纹理的物体对遮挡比较敏感基于点抗遮挡依赖纹理细节基于描述子抗遮挡依赖纹理细节。
2023-04-20 14:26:18
1547
原创 联邦学习下的数据逆向攻击 -- GradInversion
文章目录关于联邦学习基于梯度的数据还原批量标签恢复 (Batch Label Restoration)真实性正则化（Fidelity/Realism Regularization）组一致性正则化（Group Consistency Regularization）最终的更新细节实验分析结论这一次给大家介绍一个攻击，是NVIDIA的一个工作，最近被CVPR2021所收取。“See through Gradients: Image Batch Recovery via GradInversion”之所以
2021-05-12 16:16:31
3207
4
原创 利用Transformer来进行目标检测和语义分割
介绍这次介绍的是Facebook AI的一篇文章“End-to-End Object Detection with Transformers”恰好最近Transformer也比较热门，这里就介绍一下如何利用Transformer来进行目标检测以及语义分割。关于Transformer，可以参考我的这篇文章。这里我简要地介绍一下Transformer，这是一个用于序列到序列建模的模型架构，被广泛应用于自然语言翻译等领域。Transformer抛弃了以往对序列建模的RNN形式的网络架构，引入了注意力机制，
2021-04-01 17:48:30
2850
原创 浅谈深度学习模型中的后门
关于深度学习安全方面，粗浅地可以分为两大块：对抗样本（Adversarial Example）以及后门（Backdoor）关于对抗样本可以查看我之前的文章 ----对抗样本攻击这一次我们主要关注深度学习里面的后门攻击。所谓后门，那就是一个隐藏着的，不轻易就被发现的一个通道。在某些特殊情况下，这个通道就会显露出来。那么在深度学习之中，后门又是怎样的呢？我这里不妨以图像分类任务作为一个例子，我们手里有一张狗的照片，通过分类器，以99%的置信度（confidence）被分类为狗。如若我在这张图像上添加一个图
2021-03-21 20:55:02
3495
4
原创 浅谈深度学习中的对抗样本及其生成方法
文章目录背景主要内容FGSMJSMAC&WPGDBIMMIMEAD背景深度学习模型被广泛应用到各种领域，像是图像分类，自然语言处理，自动驾驶等。以ResNet，VGG为代表的一系列深度网络在这些领域上都取得了不错的效果，甚至超过人类的水平。然而，Szegedy等人在2014年的工作（Intriguing properties of neural networks）揭示了深度网络的脆弱性（vulnerability），即在输入上做一些微小的扰动（perturbation）就可以令一个训练好的模型输
2020-12-26 17:08:58
2504
1
原创 CVPR19-Deep Stacked Hierarchical Multi-patch Network for Image Deblurring论文复现
CVPR19-Deep Stacked Hierarchical Multi-patch Network for Image Deblurring论文复现该工作主要关注于利用深度网络来实现图片去模糊，这里我们针对GoPro数据集进行论文的复现。文章给出了一种新的模型架构，来学习不同层次上的特征，并实现去模糊的效果。首先这里我们给出整体模型的架构如上图所示，整个模型由4个编码解码器构成，自底向上进行传播。可以看到，从最下面的输入开始，我们将模糊的图片进行输入，会将图片分成8个区域，每个区域过编码器
2020-08-09 22:15:20
587
5
原创 图像增强的几个方法以及Matlab代码
1. 灰度线性变换灰度线性变换， 是一种空域的方法， 直接对每一个像素的灰度值进行操作假设图像为III则其中每一个像素点的灰度值为I(x,y)I(x,y)I(x,y)我们利用简单的线性变换可以得到：I(x,y)∗=k∗I(x,y)+bI(x,y)^*=k*I(x,y)+bI(x,y)∗=k∗I(x,y)+b取k=1,b=16k=1,b=16k=1,b=16可以得到这里给出关键代...
2018-09-24 23:39:55
44114
6
原创 STM32芯片编程指南（1）— 点亮LED
HAL库（Hardware Abstraction Layer）是由STMicroelectronics提供的一组预先编写好的函数，用于与STM32系列微控制器进行交互。这些函数封装了对硬件寄存器的访问，使得你可以更方便地编写代码而无需直接操作底层寄存器。HAL库的优点在于它提供了一种抽象层，使得代码更易读、易写和可移植。它简化了与硬件的交互，允许你专注于应用程序的开发而不是底层硬件的细节。你可以直接使用HAL库函数来开发STM32应用程序。ST提供了完整的文档和示例代码，帮助你了解如何使用这些函数。
2023-11-18 10:18:35
509
原创 基于机器学习的视频编码优化
通过确定 CU 是否分裂，可以将 CU 大小决策制定为递归二元分类。一些工作利用学习方法来预测一幅图像中的其他像素。在帧内预测中，一些工作通过使用轻量级 CNN 专注于超分辨率。我们可以从视频编码的流程中提取一些问题。有基于 GAN 的帧内预测。这里给出一些可能的指标。
2023-03-23 15:16:16
504
原创 刚体运动以及坐标变换-1
旋转矩阵可以表示向量的旋转，其本质是两个坐标系基底之间的内积构成的矩阵。， 这个集合包含所有n维的旋转矩阵，行列式为1，并且都是正交矩阵。注意到复数的乘法，表示复平面上的旋转，比如我们对复向量乘一个虚数。两个向量的外积代表一个垂直这两个向量的向量，大小为。旋转矩阵用9个变量来描述三个自由度的旋转，具有冗余性，两个坐标系之间的变换，可以被解释成旋转加上平移。, 代表虚轴正方向的一个向量，即逆时针旋转90度。同样的，变换矩阵构成的集合，称之为。指定的旋转，记旋转后的点为。，就等于逆时针旋转90度。
2023-03-23 15:07:47
663
原创 针对语义分割的真实世界的对抗样本攻击
针对语义分割的真实世界的对抗样本攻击来自于论文"Evaluating the Robustness of Semantic Segmentation for Autonomous Driving against Real-World Adversarial Patch Attacks"代码在[github](https://github. com/retis-ai/SemSegAdvPatch)有开源，各位感兴趣的可以自己去跑跑看。文章的主要贡献：提出了一种像素级别的交叉熵误差，用于生成强大的
2022-05-22 21:36:06
929
原创 Graph Pooling 简析
Graph Pooling 简析Pooling 是一种用于图表征提取的技术，通常用在图分类上面。一些记号我们记一个带有 NNN 个节点的属性图 (attributed graph) 为 G=(X,E)\mathcal{G} = (\mathcal X, \mathcal E)G=(X,E)其中 X={(i,xi)}i=1:N\mathcal X =\{(i,x_i)\}_{i=1:N}X={(i,xi)}i=1:N 是节点集，xix_ixi 是第 iii 个节点的属性向量E={((i,j
2022-02-18 15:20:26
1755
原创 Gensim如何冻结某些词向量进行增量训练
Gensim是一个可以用于主题模型抽取，词向量生成的python的库。像是一些NLP的预处理，可以先用这个库简单快捷的进行生成。比如像是Word2Vec，我们通过简单的几行代码就可以实现词向量的生成，如下所示：import gensimword_list = ["I", "love", "you", "."]model = gensim.models.Word2Vec(sentences=word_list, vector_size=200, window=10, min_count=1, wo
2021-10-21 16:45:18
309
原创 EKLAVYA -- 利用神经网络推断二进制文件中函数的参数
EKLAVYA – 利用神经网络推断二进制文件中函数的参数文章目录EKLAVYA -- 利用神经网络推断二进制文件中函数的参数问题介绍以及形式化定义方法设计数据准备实验结果这一次介绍一篇文章，名为Neural Nets Can Learn Function Type Signatures From Binaries来自于新加坡国立大学Zhenkai Liang团队，发在了Usenix Security 2017上问题介绍以及形式化定义该工作主要关注的问题是函数的参数推断，包含两个部分：参数的个
2021-10-04 23:35:34
337
原创 Prompt 范式简述
Promot 范式简述Traditional Framework:pre-trainfine-tune传统的训练框架为，先在一个大规模的数据集上对模型进行预训练，然后在目标任务的数据集上进行微调。Prompt Frameworkpre-trainpromptpredictPrompt框架则是分成三个部分，预训练，Prompt生成，以及预测Goal: Let the pertained model itself can be used to predict the desired
2021-08-23 15:45:59
609
原创 将恶意软件嵌入到神经网络中
将恶意软件嵌入到神经网络中这次介绍一篇名为“EvilModel: Hiding Malware Inside of Neural Network Models ”的文章。该文章主要描述了一种隐式的传播恶意软件的方法，通过对神经网络的权重进行修改实现恶意软件的传播。本质上，是选取模型中的某些“冗余”的层，对其中的神经元的权重进行替换，对于每一个权重，替换其最后的3位比特位作为恶意软件的某个3个比特，进而实现恶意软件的隐式传输。这里所提及的冗余，其实是通过测试，查看对正确率的影响程度，选择那些对正确率
2021-07-30 15:38:04
585
原创 针对tqdm和print的顺序问题
最近使用python的tqdm包的时候，当结合print语句的时候，发现了一些问题代码为：import tqdmimport timepbar = tqdm.tqdm(total=100)print("Start")for _ in range(100): time.sleep(0.01) pbar.update(1)pbar.close()print("End")结果为：print语句要么必须前置import tqdmimport timeprint("Start")
2021-07-20 14:43:49
916
1
原创 利用超球嵌入来增强对抗训练
利用超球嵌入来增强对抗训练这次介绍一篇NeurIPS2020的工作，“Boosting Adversarial Training with Hypersphere Embedding”，一作是清华的Tianyu Pang。该工作主要是引入了一种技术，称之为Hypersphere Embedding，本文将其称作超球嵌入。该方法和现有的一些对抗训练的变种是正交的，即可以互相融合提升效果。这里指的对抗训练的变种有 ALP, TRADE 等对抗训练框架首先，如下图所示，我们列出来AT以及其变种，用
2021-07-08 15:13:00
570
原创 用于类别增量学习的动态可扩展表征 -- DER
用于类别增量学习的动态可扩展表征 – DER文章目录用于类别增量学习的动态可扩展表征 -- DER类别增量学习表征学习/度量学习基本流程实验分析这次介绍一种类似表征学习的训练方法，用于类别的增量学习，来自于CVPR2021的一篇文章"DER: Dynamically Expandable Representation for Class Incremental Learning"。首先，我们需要补充一些预先的概念，比如类别增量学习以及表征学习。类别增量学习传统的分类学习中，我们通常在训练的时候就有
2021-06-08 17:44:08
1553
原创 Meta Learning 简述
Meta Learning 简述先来回顾一下，传统的机器学习或者说深度学习的流程：确定训练和测试数据集确定模型结构初始化模型参数（通常是一些惯用的随机分布）初始化优化器类型和参数进行训练，直到收敛Meta Learning的目的是去学习一些在步骤2，3，4的参数，我们称之为元知识(meta- knowledge)不妨对其进行形式化假设数据集为 D={(x1,y1),...,(xN,yN)}D = \{(x_1,y_1),...,(x_N,y_N)\}D={(x1,y1),...,(
2021-05-29 18:48:14
363
原创 用全连接层替代掉卷积 -- RepMLP
用全连接层替代掉卷积 – RepMLP这次给大家介绍一个工作， “RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition”，是最近MLP热潮中的一篇有代表性的文章。其github链接为https://github.com/DingXiaoH/RepMLP，有精力的朋友可以去跑一跑，看一看代码。我们先回顾一下，先前的基于卷积网络的工作。之所以卷积网络能够有效，一定程度上是其对空间上的
2021-05-29 15:21:04
1705
原创 应对长尾分布的目标检测 -- Balanced Group Softmax
应对长尾分布的目标检测 – Balanced Group Softmax文章目录应对长尾分布的目标检测 -- Balanced Group Softmax长尾分布的数据以往应对长尾分布的方法Balanced Group Softmax效果评估这次给大家介绍一篇CVPR2020的文章，题为“Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax”，主要解决目标检测中的长尾数据分布问
2021-05-19 20:35:17
2763
原创 用MLP代替掉Self-Attention
文章目录用MLP代替掉Self-AttentionTransformer中的Self-Attention机制外部注意力 (External Attention)实验分析图像分类语义分割图像生成用MLP代替掉Self-Attention这次介绍的清华的一个工作 “Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks”用两个线性层代替掉Self-Attention机制，最终实现了在保持精度的同时
2021-05-13 21:36:25
4846
原创 使用少量数据去除神经网络中的水印 -- WILD
文章目录使用少量数据去除神经网络中的水印 -- WILD简介WILD框架实验评估使用少量数据去除神经网络中的水印 – WILD简介这次介绍一篇文章， 名为Removing Backdoor-Based Watermarks in Neural Networks with Limited Data。针对现有的利用后门攻击在神经网络中构建水印的工作，该文章主要是提出了一个去除水印的框架。关于后门攻击，你可以查看我的这篇文章首先我们来看一下水印是怎么来的，如下图所示首先，我们通过对训练数据进行
2021-04-29 17:40:25
796
1
原创 通过人工大脑刺激来检测神经网络中的后门
文章目录介绍新的方法REASR分数实验评估结论介绍这一次主要给大家介绍一篇CCS19的工作，“ABS: Scanning Neural Networks for Back-doors by Artificial Brain Stimulation”。在深度学习之中，存在着一种后门攻击（backdoor attack），它包括两个部分：被植入后门的深度网络（trojaned model, model with backdoors）触发后门的触发器 （trigger）一旦我们在输入上添加对应的触
2021-04-24 19:53:58
1691
5
原创 语义上的对抗样本 -- SemanticAdv
语义上的对抗样本 – SemanticAdv这次介绍的是ECCV2020的一篇文章，SemanticAdv: Generating Adversarial Examples via Attribute-conditioned Image Editing介绍我们知道，对抗样本一直以来对深度网络来说是一个不小的威胁，通过一个微小的、人眼不可区分的扰动，最终使得神经网络的结果出错（当然，不限于分类任务）。有关于对抗样本，可以查看我的这篇文章形式化来说，可以写成f(x+δ)=f(xadv)≠f(x)
2021-04-15 17:53:00
1297
原创 如何利用对抗样本来提升精度
文章目录介绍对抗训练的影响加一个BN试一试实验评估结论介绍这次介绍一篇CVPR2020的工作，Adversarial Examples Improve Image Recognition，该工作主要揭示了对抗样本对图像分类的促进作用。关于对抗样本，可以查看我的这篇文章对抗训练的影响对抗样本一直以来大家对其印象都不好，使分类器出错，难以进行防御，白盒攻击下的防御大多数难以真正完全防御住。先来看看目前相对比较有效的防御，即对抗训练，如下图所示：灰色代表着对抗训练，橘色代表对抗训练加上参数调优
2021-04-08 21:15:57
1262
1
原创 暴力的黑盒对抗样本攻击 -- ZOO
文章目录介绍强行计算梯度结果分析介绍这次来介绍一篇CCS Workshop 2017的工作，“ZOO: Zeroth Order Optimization Based Black-box Attacks to Deep Neural Networks without Training Substitute Models”这是一个黑盒的对抗样本攻击，如上图所示，攻击者只能进行输入，并且获得置信度的输出，不能对模型进行反向传播。有关于白盒的对抗样本攻击，可以查看我这篇文章不能反向传播，会导致对抗
2021-04-06 20:29:33
3293
原创 如何躲避针对后门攻击的检测
介绍这次介绍的是一篇来自于EuroS&P-2020的文章，“Bypassing Backdoor Detection Algorithms in Deep Learning”作者中有比较著名的大佬Reza Shokri。该工作主要针对Wang等人提出来的Neural Cleanse。关于后门攻击，您可以参考我这篇文章。关于Neural Cleanse，您可以参考我这篇文章。开门见山该工作主要是提出一种攻击，用来躲避后门检测的，针对Wang等人提出来的神经元裁剪方法，给出了一种攻击策略
2021-04-03 21:00:57
583
原创 深度学习中的公平性
介绍深度学习十分流行，在许多领域有着不错的表现。然而，深度学习算法中的公平性(fairness) 亦是重要的研究方向。这次，我们以Du的一篇文章为例，给大家介绍一下深度学习中的公平性。Fairness in Deep Learning: A Computational Perspective分类首先我们需要对公平性问题进行分类，然后在分别进行相关工作的介绍。大致上，公平性问题可以分为：预测输出的歧视 (Prediction Outcome Discrimination)对于招聘系统，在
2021-04-02 17:54:38
2847
原创 针对后门攻击的防御手段之Neural Cleanse
介绍后门攻击是一类针对深度学习的攻击，其主要组成部分有两个：触发器带后门的模型当模型接收到带有触发器的输入，便会导致对应的触发结果。并且，一但没有触发器，模型的表现和正常的模型相似。关于后门攻击更多的介绍，可以参考我的这篇文章。今天主要讲的是来自于2019年SP的一篇文章“Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks”作者基于一个重要的假设：“带有后门的模型所对应的触发器，要比
2021-03-31 20:52:04
1864
8
原创 贝叶斯优化详解
关于参数搜索参数搜索是一个开放的问题，假设我们拥有一个函数f(x;θ)f(x;\theta)f(x;θ)，该函数的性质完全由参数θ\thetaθ决定，那么，我们就可以通过对参数进行搜索，得到一个满足我们要求的函数。这里我所说的满足要求，可以是拟合的误差小于某个阈值，亦可以是其他当选取一个参数θc\theta_cθc之后（这里下标c表示候选，candidate），我们会对这个函数进行一个评价，这里的评价是指，评价这个函数是不是符合我们的要求。一般来说，这个评价，或者说成评估的过程，往往是代价比较
2021-03-27 16:28:37
2258
1
原创 如何用一束激光欺骗神经网络
来自于CVPR2021的一篇文章"Adversarial Laser Beam: Effective Physical-World Attack to DNNs in a Blink"这一个在物理世界的对抗样本攻击，以图像分类任务为例，对抗样本就是在正常的图像上添加一些人为的噪声，使得分类器出错，同时人眼无法分辨出这些噪声（肉眼还是能够正常分类的）。有关于对抗样本攻击，可以参考我的这篇文章如上图所示，在添加激光之后，相机所拍摄到的图片出现了变化，进而影响了分类器的结果。大巴在红色激光的作用下被
2021-03-24 22:33:09
477
原创 基于白盒表征的图像卡通化
取自CVPR2020的一篇文章Learning to Cartoonize Using White-box Cartoon Representations图像卡通化，即是将自然拍摄到的图片转化成卡通风格的图片，属于一种风格迁移。如上图所示，左图为真实图片，右图为卡通化的结果。风格迁移很久之前就被人提出来了，比如2016年BAIR实验室提出来的Pix2Pix，以及之后针对非pair数据所提出来的CycleGAN。Pix2Pix文章: Image-to-Image Translation with
2021-03-15 15:23:06
636
原创 利用误分类样本来防御对抗样本
来自于ICLR2020的一篇paper – Improving Adversarial Robustness Requires Revisiting Misclassified Examples其中作者有北大的王奕森，在对抗样本这块工作比较多大家可以关注一下。防御对抗样本在深度学习里面一直是件难办的事 ，目前都没有什么特别有效的方法，我今天介绍这篇也不能完美解决这个问题，只希望提供一些一些有趣的思路给大家。首先，文章进行了一个小的实验，可以说是一个有意思的观察。作者首先讲正确分类的样本集合记做S+S^
2021-03-14 21:52:03
729
原创 Ubuntu 18.04下安装ROS小记
一开始遇到sudo apt-get install ros--desktop-full (E: Unable to correct problems, you have held broken packages.)多方搜索之后，先使用apt-get安装aptitudesudo apt-get install aptitude然后使用aptitude安装对应的rossudo aptitude install ros-desktop-full接着是配置下zsh...
2020-09-04 20:44:19
242
空空如也
Android百度地图sdk在红米Note2上闪退
2017-02-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人