skyxya的博客

首先沿空间和通道维度将量化后的潜在变量分成恒定数量的组。如图所示，沿通道维度将潜在变量均匀分割成 Kc 个切片，然后使用空间分割方案将每个通道切片在空间上分割成 KL*Kc 个组。在分组操作之后，潜在变量ˆy被分成组ˆyG1、ˆyG2、···、ˆyGG，其中G表示潜在变量中所有符号索引的集合，满足G=G1∪G2····∪GG。每组表示都满足 yGi ∈ Rhw×c。我们的熵模型将潜在变量的联合概率分解为组自回归，如下所示：在GroupedMixer中，作者不是直接关注先前组中的所有解码值。

对于体素化的点云（PCG），它被表示为一个稀疏张量 𝑋0 ，由几何坐标 𝐶𝑋0 和特征属性 𝐹𝑋0 组成（其中特征属性初始化为全为 1 的占用向量）。这一表示方法被应用于作者提出的框架中，如图 2 所示。

总之，TENT算法通过自适应调整模型的归一化参数，来优化模型在目标领域的表现，特别是在没有源数据的情况下有效应对目标数据的分布变化。（这些数据集涵盖了一系列现实世界的挑战，包括不同程度的损坏和噪声，使我们能够证明我们的方法在不同和复杂的场景中的有效性。（TTA）的方法，旨在通过最小化模型输出的熵来增强模型的适应能力。通常会采用无监督损失（例如基于目标分布的损失函数）来对模型进行微调，进而减少领域间的分布偏移。，从而使得模型能够在未标注的目标数据上做出更稳定、更自信的预测。在没有源数据的情况下，

这种方法可以衡量子节点之间的位置信息差异，但对于衡量实际占用的子节点数量和预测的差异不够准确。在这个场景下，模型的任务不仅是预测每个子节点是否被占用（分类），而且是要准确预测占用的子节点数量（回归）。为了应对上述问题，作者提出了一个基于注意力的ACNP模块，该模块直接预测占用的子节点数量，并将其映射为一个8维向量，该向量包含占用子节点数量的信息。该模块是通用的，能够提升多种上下文模型的性能。，但在八叉树几何压缩上下文中使用它来衡量预测与真实占用子节点数量之间的差异（这里本身是一个回归问题）时是不合适的。

例如，点 (1, 2, 3) 和点 (1, 3, 2) 在原始空间中只在一个维度上有所不同（z和y），它们在排序后的列表中也是相邻的。需要注意的是，在实际应用中，八叉树的深度d可能会更大，以覆盖更广泛的坐标范围和更高的精度。假设论文中有一个简单的3D点云，其中包含几个点，其坐标分别为 (1, 2, 3), (2, 1, 3), (1, 3, 2), (3, 1, 2)。因此，排序后的顺序是 (1, 2, 3), (1, 3, 2), (2, 1, 3), (3, 1, 2)。

对比与octattention 其实在精度上 应该是有所损失的，或者说基本持平 但是本论文中考虑的两个有效模块加上还是出现了精度没有巨大提升的问题，怀疑所用的上下文窗口只考虑了兄弟节点，虽然利用了父节点的占用值作为特征输入，但是上下文中没有父节点作为参考丧失了一定的多层次的特征。，Octformer 构造了大小为 N 的非重叠上下文窗口来形成序列，并使用序列中的所有特征 (fi−j，..., fi,..fi+k) 来预测分布 qi，其中 j + k − 1 = N。重构点云的质量取决于八叉树的最大深度。

之前的方法例如 V-PCC 大多是采用将三维点云投影到二维平面上，然后采用成熟的视频压缩方法对投影后的点云进行压缩，而基于几何的 PCC 例如 G-PCC 在静态点云上的压缩取得了比较明显的进步。采用基于稀疏 CNN 的下采样块（图 3(a)）进行低复杂度的点云下采样。下采样块由用于点云下采样的步幅两个稀疏卷积层组成，然后是几个初始残差网络 (IRN) 块用于局部特征分析和聚合。具体来说，我们首先将 yt 和 ˆyt−1 连接在一起得到 y cat t。嵌入到端到端压缩网络中，以消除时间冗余。

这不是以前基于 Transformer 的方法的一个重要问题，因为 Transformer 在处理序列数据时是顺序不变的：在自注意力机制中，给定位置的每个元素都可以通过注意力权重与序列中的所有其他元素交互。为了确保在将这两种不同的点标记输入 Mamba 编码器时，能够有效地区分它们的特征和生成策略，提出了一个简单的顺序指示器。在框架图中，derta T 是通过 \tau(一种非线性激活函数), 因此delta T 是非线性的，所以 ABC 都是非线性时变的，系统的条件就放开了。

虽然这个概念与模型架构的特定选择无关，但现代 FM 主要基于一种类型的序列模型：Transformer 及其核心注意力层自注意力的功效归因于它能够在上下文窗口中密集地路由信息，使其能够对复杂的数据进行建模。此外，论文提出了一类新的选择性状态空间模型，它在几个轴上改进了先前的工作，以实现 Transformer 的建模能力，同时在序列长度上线性缩放。选择性 SSM，和扩展 Mamba 架构，是具有关键属性的完全循环模型，这使得它们适合作为在序列上运行的一般基础模型的主干。

diffusion models 公式推导

SIGGRAPH 2023

使用元学习将编码时间减少了两个数量级以上，将编码共享结构进行编码，并对该网络应用调制来编码实例特定信息。量化和熵编码调制。虽然我们的方法在压缩和速度方面都大大超过了 COIN，但它仅部分缩小了与 SOTA 编解码器在经过充分研究的模式（例如图像）上的差距。然而，COIN++ 适用于传统方法难以使用的广泛数据模式，使其成为非标准域中神经压缩的一种有前途的工具。

提出了一种新的图像压缩的简单方法：不是存储图像的每个像素的 RGB 值，而是存储过度拟合图像的神经网络的权重。

提出了矢量量化自动解码器 (VQAD) 方法，以直接学习信号的压缩特征网格，而无需直接监督。论文的方法能够实现端到端压缩感知优化，这导致了比离散信号压缩的典型矢量量化方法更好的结果。

论文通过保持离散的潜在表示和参数化解码器，为隐式特征网格引入了一个端到端可训练的压缩框架。论文为图像、视频和 3D 场景等各种领域（例如图像、视频和 3D 场景）提供了广泛的压缩基准实验，表明我们的方法的普遍性优于各种 INR 工作。

文章结合空间上下文模型，提出了一种多维熵估计模型 SCCTX（该模型在降低比特率方面快速有效）基于所提出的 SCCTX 模型，进一步提出了 ELIC 模型，采用堆叠残差块作为非线性变换。提出了一种从压缩表示生成预览图像的有效方法。据我们所知，这是第一个解决学习图像压缩的超快预览问题的文献。

一种用于 3D 学习的可学习分层隐式表示，称为 OctField，它将最先进的分层数据结构与局部隐式函数相结合。一种新颖的分层编码器-解码器网络，它将八叉树的构造建模为概率过程，并且能够以可微分的方式学习离散八叉树结构和表面几何形状。

1. 提出了一种树形结构的注意力机制来模拟大规模上下文中节点的依赖关系。2. 我们采用掩码操作并行对八叉树进行编码，以减轻在大规模上下文中引入兄弟姐妹的缺点。

通过利用基于体素的方法和基于八叉树的方案，我们在深度熵模型中引入了局部体素上下文。论文开发了一个基于体素的坐标细化模块来生成解码器端叶节点的准确坐标。

1. 论文中提出了不规则潜在网格作为神经场的3D形状表示，拓展了现有的工作。2. 论文改进了基于网格的SOTA方法（最新技术），用于点云三维形状重建。3. 论文改进了最先进的三维形状生成模型，包括图像条件生成、对象类别条件生成和点云条件生成。

提出来基于INR的压缩元学习初始化，加速了压缩速率和能产生更好的率失真性能。将 SIREN 网络与位置编码相结合，提高了率失真性能。为了强调基于 INR 的源压缩的通用性，我们进一步对 3D 形状压缩进行了实验，其中我们的方法大大优于传统的压缩算法 Draco。

学习一个生成模型来产生一个连续的SDF场

1. 论文介绍了一种具有神经SDF的复杂几何实时渲染方法。2. 论文提出了一种神经SDF表示，可以有效地捕获多个LOD，并以最先进的质量重建3D几何图形。3. 论文中的架构可以以比传统方法具有更高视觉保真度的压缩格式表示 3D 形状，并且即使在单个学习示例中也能跨不同几何图形进行泛化