qq_36627158的博客

Hi-TRS：骨架点视频序列的 层级式建模 及 层级式自监督学习

自监督对比学习的一种极简主义风：一张图片裁剪成不同的 patch，对不同的 patch 做数据增强，分别输入 encoder，得到多个 embedding，对它们求均值，得到作为这张图片的 embedding。最后，拉近每个 patch 的 embedding 和图片的 embedding（）之间的余弦距离；再用 Total Coding Rate(TCR) 防止坍塌（即 encoder 对所有输入都输出相同的 embedding）

作者提出了一个跨模态互蒸馏（Cross-modal Mutual Distillation，CMD）的自监督学习框架。其中，模态之间进行的是双向知识蒸馏（bidirectional knowledge distillation）；蒸馏的知识（knowledge）是样本和其他样本的相似度分布（the neighboring similarity distribution）在蒸馏的过程中，为老师（teacher）和学生（student）模型设置不同的参数，目的是稳定蒸馏的过程，同时保证传输具有高置信度的信息。

一、课程复习《计算机软件理论基础》1、自动机有限状态机，（英语：Finite-state machine, FSM），又称有限状态自动机，简称状态机，是表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型。这是一个简单的例子，在一个情境中存在三种状态，两种动作，圆圈表示就是的是状态，状态之间的箭头表示状态的转移，而箭头上的表示对应的触发条件，例如在 1 状态如果发生 b 则状态变化为 2，自己到自己的箭头表示状态不变化。参考：https://blog.csdn.ne.