w1hsxn的博客

今天介绍一篇来自卡耐基梅隆大学等单位 ECCV 2022 的一篇关于快速知识蒸馏的文章，用基本的训练参数配置就可以把 ResNet-50 在 ImageNet-1K 从头开始 (from scratch) 训练到 80.1% (不使用 mixup，cutmix 等数据增强)，训练速度（尤其是数据读取开销）相比传统分类框架节省 16% 以上，比之前 SOTA 算法快 30% 以上，是目前精度和速度双双最优的知识蒸馏策略之一，代码和模型已全部开源。

特征金字塔网络 (FPN) 一直是目标检测模型考虑目标的各种尺度的基本模块。但是，小目标的平均精度（AP）相对于中大目标的平均精度（AP）要低。原因是 CNN 的更深层特征会带来信息丢失。

紫外线着色被认为是许多鸟类信号的一种重要形式，但目前缺乏关于紫外线羽毛着色的普遍性和促进其进化的因素的广泛见解。

从想法到产品：研究、政策和经济如何影响创新的涌现

从想法到产品：研究、政策和经济如何影响创新的涌现

从想法到产品：研究、政策和经济如何影响创新的涌现

Researchers have developed the first in-sensor processor that could be integrated into commercial silicon imaging sensor chips -- known as complementary metal-oxide-semiconductor (CMOS) image sensors

数据的设计、完善、评估三大步骤是关键。

这是首个在工业开发环境中被采用的代码生成系统。

本文从统一的角度对视觉识别领域的半监督学习(SSL)和无监督学习(UL)深度学习算法进行了综述。

关于扩散模型最详细数学推导，来自谷歌大脑Calvin Luo，非常值得关注！

西湖大学工学院姜汉卿团队最新科研进展。

在过去的十年中，多任务学习方法在解决全景驾驶感知问题方面取得了不错的成果，同时提供了高精度和高效率的性能。

复杂系统视角丰富我们对衰老的理解。

消息保真度取决于社交网络影响的广度和深度。

过去的十余年，干细胞研究领域取得的关键进展之一便是类器官体系的发展。

本文提出了一个用于半监督学习的可扩展高性能 GNN 框架。

爱尔兰东南理工大学最新《人工智能和6G与元宇宙:基本原理、挑战和未来研究趋势》综述，详实全面，非常值得关注！

在机器学习领域，有着前向结构的多层感知器 （Multilayer Perceptron，MLP）是近年来新兴的一种人工神经网络。

钻石一直被当成爱情信物被人们所珍视，“钻石恒久远，一颗永流传”这句经典的广告语想必大家都有所耳闻。

任意图像变换方式都可生成。扩散模型或取代GAN？

中性网络将所有基因型与适应性景观中的等效表型连接起来，并在生物分子的突变稳健性和可进化性中发挥重要作用。与早期的理论工作相比，在最近的适应性景观实验研究中一直缺乏大型中性网络的证据。这表明进化可能在全球范围内受到限制。...

消息保真度取决于社交网络影响的广度和深度。

在这项工作中，我们通过提出一种新的时空自监督学习框架 ST-HSL，将超图对比学习引入到犯罪预测中。

CDTrans 是一种首先把 Cross Attention 机制引入到 UDA 场景的 Transformer 方法。

语义分割是医学图像计算中最热门的研究领域之一。

以往我们认为黑客攻击手机，只能通过软件的方式进行，只要我们注意不要下载不明来源的应用，就能避免这样的攻击。

为开发阿尔茨海默病的疗法提供可能的方向。

当前，机器学习模型在解决微分方程等高难度数学问题方面一直存在很大限制，一些最好的模型也只是勉强回答高中水平的数学题目。但现在，麻省理工学院（MIT）领导的研究小组开发的一种神经网络模型，可轻松应对相当于大学数学课程难度的问题。

本文探讨了需要GNN的可解释性解释GNN预测的挑战不同的GNN解释方法GNNExplainer的直观解释使用。

从文字中合成图像是近年来具有挑战性的课题之一。早期的研究工作，一般都是基于卷积生成器，通过对给定的文本进行直接的图像生成，并在处理有限的领域内，得到很有希望的结果。

现在已经2022年了，但是当下大多数的计算机视觉任务却仍然只关注于图像感知。比如说，图像分类任务只需要模型识别图像中的物体物体类别。

少样本动作识别在动作识别领域是一个大家期望达到的目标。近几年，围绕少样本动作识别这一主题出现了大量的文章。但目前的少样本动作识别工作大部分都是基于视频的，具有数据维度高，难以训练等等问题。

“普通人，他们真的不需要太担心这种类型的攻击。”

在人工智能中，近几年来大型语言模型 （LLMs，Large Language Models）领域的发展尤为突飞猛进，经过训练的 LLM 已经可以做到按照提示要求生成复杂的文本、回答较难理解的问题，甚至可以就某个主题展开对话。LLM 的能力之所以如此优异，正是在于这些模型在训练的过程中，从由网络提取的大型文本语料库中吸取了数据量庞大的信息。

本文介绍了一种简单有效，即插即用的Transformer模块BatchFormer。

本篇综述通过对现有的多模态图像合成与编辑方法的归纳总结，对该领域目前的挑战和未来方向进行了探讨和分析。

以Transformer为例，浅析归纳偏置对模型缩放的影响。

论文提出了一种可伸缩自我注意(Scalable Self-Attention, SSA)机制，该机制利用两个可伸缩因子来释放查询、键和值矩阵的维度，同时解除它们与输入的绑定

本文提出一种基于最大熵原理的目标检测搜索方法：MAE-Det。