进阶中的程序员吃吃的博客

提出了基于每个高斯的嵌入变形方法（E-D3DGS），通过定义每个高斯的变形来提高动态场景重建的质量。将变形分成粗变形和细变形，以分别捕捉慢速和快速运动。由于3DGS提供快速且高质量的新视图合成，将其变形为多个帧以表示动态场景是一种自然的扩展。然而之前的工作未能准确重建复杂的动态场景。我们将失败归因于变形场的设计，该设计是基于坐标的函数，这种方法存在问题，因为3DGS是多个以高斯为中心的场的混合，而不仅仅是单一的基于坐标的框架。为了解决这个问题，我们将变形定义为每个高斯嵌入和时间嵌入的函数。

现有的基于有限数量的冷冻电镜数据训练的方法仍然无法从嘈杂的冷冻电镜图像中准确地挑选蛋白质颗粒。一般基于人工智能的基础图像分割模型，例如SAM( Segment Anything Model)，无法很好地分割蛋白质颗粒，因为它们的训练数据不包括冷冻电镜图像。本文提出了CryoSegNet，集成了专门为cryoEM颗粒挑选设计和训练的注意力门控U型网络和SAM。U-Net 首先在大型cryoEM图像数据集上进行训练，然后用于从原始显微图像生成输入，以供SAM进行颗粒挑选。

传统的颗粒挑选面临着手动操作和自动化方法对低信噪比和不同颗粒方向的敏感性的困扰。现有的基于神经网络的方法通常需要大量标记数据集，限制了其实用性。为了克服这些挑战，本文提出了cryoMAE，一种基于少样本学习的新方法，利用掩蔽自动编码器（MAE）的功能来有效选择冷冻电子显微镜图像中的单个颗粒。cryoMAE只需要一组最少的正颗粒图像进行训练，但在颗粒检测方面表现出很高的性能。此外，自交叉相似性损失的实现确保了颗粒和背景区域的不同特征，从而增强了cryoMAE的鉴别能力。

3DGS 在图像渲染和表面重建方面显示出可喜的结果。然而它在体积重建任务（如X射线计算机断层扫描）中的潜力仍未得到充分探索。本文介绍了R2-Gaussian，这是第一个基于3DGS的稀疏视图断层重建框架。通过仔细推到X射线光栅化函数。我们发现了标准 3DGS 公式中以前未知的积分偏差，这阻碍了准确的体积检索。为了解决这个问题，本文提出了一种新的校正技术，通过将投影从3D重构为2D高斯。

电子显微镜的关键步骤之一是根据显微镜获取的一组二维 (2D) 投影对所研究样本的三维 (3D) 图进行断层扫描重建。直接傅里叶反演方法、反投影方法、Radon 方法或迭代算法。在本篇综述中，我们将重点介绍迭代算法，解释该类算法在电子显微镜领域引入的不同算法背后的数学原理。我们将介绍它们在单粒子分析 (SPA) 和电子断层扫描 (ET) 中的应用。电子断层扫描 (ET) 中的情况通常特别复杂，因为投影图像数量较少、存在缺失楔形以及图像非常大，对计算资源构成了重大挑战（尤其是在内存方面；

为了原位解析生物大分子的三维结构，通常需要从冷冻电子断层图中挑选大量颗粒。为了解决以往自动颗粒挑选算法的技术限制，本文开发了DeepETPicker深度学习模型，用于快速且准确地从冷冻电子断层图中挑选颗粒。训练只需要少量简化的标签作为弱监督，来减轻手动标注的负担。简化的标签和定制的轻量级模型架构以及和加速池相结合，可以显著提高性能。在模拟和真实断层图上进行测试时，本文方法通过实现了最高的整体精度和速度，超过了最先进的竞争方法，这转化为挑选颗粒的更高真实性和坐标精度，以及最终重建图的更高分辨率。

三维cryoET重建的保真度进一步受到采集过程中物理扰动的影响。这些扰动以各种形式表现出来，例如连续采集之间的样本漂移，导致连续投影未对准，或者由于未散射的电子而导致二维投影中的局部变形。传统的冷冻电子断层扫描工作流程需要对齐倾斜序列图像，然后应用标准重建算法，例如迭代最小二乘法（ILS）、代数重建技术（ART）、同步迭代重建技术（SIRT）或更常见的滤波反投影（FBP）。冷冻电子断层扫描流程的第一步是收集三维样本在不同倾斜角度的投影图像。玻璃化样品只能承受有限剂量的电子而不会受到严重损坏。

对3DGS原文进行翻译，以及部分理解。

CryoET 是结构生物学中的强大工具，能够以纳米分辨率对生物样本进行详细的3D成像。虽然这项技术很有潜力，但是cryoET仍面临诸如缺失楔问题等挑战，该问题由于数据收集角度不完整而限制了重建质量。最近，利用CNNs的监督深度学习方法在很大程度上解决了这个问题。然而，它们的预训练要求使得它们容易受到重建不准确和存在伪影的影响，特别是在代表性训练数据稀缺的情况下。为了克服这些限制，本文引入了一种使用坐标网络（CN）的概念验证无监督学习方法，该方法可以直接针对输入投影优化网络权重。

简要介绍NeRF和instant-NGP。

期刊：Bioinformatics Advances, 2023源码（c++）：https://github.com/yuanhaowang1213/adaptivediffgrid_ex提出了一种cryoET重建框架，使用基于八叉树结构的自适应密度网格联合重建断层图像并对其进行去噪。在神经表示的优化过程中，组成八叉树结构的节点将被划分成新节点、合并或者如果为空则禁用。八叉树更新旨在通过更加重视具有更多特征的区域来加速计算。每个八叉树节点都具有可微密度网格，我们根据捕获的噪声投影对其进行优化。

本文提出了TensoRF，一种建模和重建辐射场的新方法。不同于NeRF中纯粹使用了MLP，本文将场景的辐射场用4D张量表示，代表了一个3D体素网格，每个体素具有多通道特征。中心思想是将4D场景张量分解成多个紧凑的低秩张量分量。在本文框架中应用传统的CP分解（将张量分解成具有紧凑的秩一向量）可以带来对普通NeRF的改进。为了进一步提高性能，本文引入一种新的向量矩阵分解（VM分解），它放宽了张量两种模式的低秩约束，并将张量分解为紧凑的向量和矩阵因子。

本文提出了一种新的基于学习的框架，用于从cryoET倾斜序列数据进行3D结构的重建。该工作通过对扫描样本的3D密度场使用基于自适应张量表示来解决以上挑战。主要工作：1. 优化四叉树结构来划分感兴趣的volume；2. 学习表示每个节点中密度场的张量的vector-matrix分解；3. 使用的损失函数将可微断层扫描形成模型和三个正则化项结合

现有的结构排序算法的吞吐量低，或者由于依赖于可用模板和手动标签而固有地受到限制。本文提出了一种高吞吐量的、无需模板和标签的深度学习方法，即。通过学习和建模三维结构特征及其分布，自动检测同质结构的子集。在五个实验数据集上的评估表明，基于无监督深度学习的方法能够检测具有广泛分子大小范围的多样结构。DISCA通过学习由CNN提取的3D结构特征，并统计建模特征分布，自动在大规模冷冻电子断层扫描数据集中检测结构同质的颗粒子集。

否则，在严格监督的环境中，您不会期望测试集中出现严重超出分布的样本，ArcFace 及其变体绝对是最佳选择，正如最近 Kaggle 竞赛中表现最佳的选手所证明的那样。让我们将其映射到超球面！更重要的是，比赛的重要部分是对给定的鲸鱼是否是新的进行分类。遗憾的是，众所周知的事实是，在酷炫新方法的学术基准上报告的 SOTA 结果可能无法反映其在现实世界问题中的表现。对比方法的主要思想是设计一个损失函数，直接将具有相同标签的样本（即“相似”样本）的嵌入放在一起，并让不相似样本的嵌入彼此远离，因此得名“对比”。

冷冻电子断层成像技术使得对细胞环境进行高度详细地可视化成为可能。然而，仍然需要工具来分析这些密集体积中包含的全部信息。通过亚体积平均进行对大分子的详细分析需要首先在断层图中定位颗粒，这一任务受到多种因素的影响，包括低信噪比和拥挤的细胞空间。目前可用的方法在这方面要么容易出错，要么需要手动注释训练数据。为了帮助这一关键的颗粒拾取步骤，我们提出了TomoTwin：这是一个基于深度度量学习的冷冻电子断层图颗粒拾取的开源通用模型。

这篇论文介绍了一个自监督框架，用于训练适用于计算机视觉中大量多视图几何问题的兴趣点检测器和描述符。与基于图像块的神经网络不同，我们的全卷积模型在完整尺寸图像上进行操作，并在一次前向传递中联合计算像素级兴趣点位置和相关描述符。我们引入了Homographic Adaptation（同质适应），这是一种多尺度、多单应性的方法，用于提高兴趣点检测的可重复性，并进行跨域适应（例如，从合成到真实场景）。

眼底图像匹配（retinal image matching）作为眼底图像处理和分析的一项重要技术，在眼底图像配准、身份识别、个性化慢病管理等多个任务中起着关键作用。现有方法大多基于传统数字图像处理技术实现。传统技术存在超参数设置复杂，病变条件下匹配质量差，适用任务单一等问题，使得现有方法的适用范围较窄。本文提出了具备端到端学习能力的眼底图像关键点检测和描述网络SuperRetina。注意到当前可用的眼底图像标注数据极其稀少，难以有效支撑深度神经网络的训练。

本文旨在减少 Detection Transformer 类目标检测器对标注数据的依赖程度，提高其数据效率。

低温电子断层扫描（cryoET）允许原位细胞结构的可视化。然而，由固有的缺失楔问题引起的各向异性分辨率给断层成像的可视化和解释性带来了重大挑战。本文开发了IsoNet，一个基于深度学习的软件包，使用从原始断层图像中学习的知识，迭代重建缺失楔信息并提高信噪比。IsoNet 不需要子断层平均，生成的断层图像分辨率各向异性显著降低。IsoNet 应用于三种代表性的cryoET数据表明它让结构的可解释性大大提高。因此，IsoNet 克服了 cryoET 的两个基本限制，使得其功能解释无需子断层平均。

无监督图像表示（Unsupervised image representation）显著地缩小了和有监督预训练的差距，特别是对比学习方法的最新成果。这些对比学习方法通常在线工作，依赖于大量显式的成对特征比较，计算量比较大。本文提出的在线算法SwAV不需要成对比较，它比较不同 view 下的聚类结果（clustering assignment）而不是直接对比特征。具体来说，SwAV 对数据进行聚类的同时，加强对同一图像的不同增强(或“视图”)产生的聚类结果之间的一致性，而不是像对比学习中那样直接比较特征。..

选择性搜索是用于目标检测的区域提议算法，它计算速度快，具有很高的召回率，基于颜色，纹理，大小和形状兼容计算相似区域的分层分组。

题目&作者Multi-particle cryo-EM refinement with M visualizes ribosome-antibiotic complex at 3.5 Å in cellsDimitry Tegunov（一作）（也是 Warp 的作者）。本文发表在 Nature Methods，2021。摘要：M software：建立了一个基于参考的多颗粒细化框架，集成了基于参考的颗粒运行轨迹细化和结构确定流程中的其他步骤。为 SPA 和 STA 提供了统一的优化框架（

有两篇介绍该软件的论文，一篇是2018年的，第二篇是2022年的。第二篇主要是对软件使用流程的详细介绍。emClarity: software for high-resolution cryo-electron tomography and subtomogram averagingBenjamin A. Himes, Peijun Zhang(通讯）2018，Nature methodsHigh-resolution in situ structure determina

摘要本文开发了深度学习Python包——MicrographCleaner，旨在自动化颗粒挑选过程中，检测碳膜和高对比度污染物，区分适合于颗粒拾取的显微照片区域和不适合进行颗粒拾取的显微照片区域。MicrographCleaner实现了一个类似U-Net的深度学习模型。数据集需要手工标记，有500多张训练集，100张左右的测试集。该软件包可以通过anaconda和pip安装，也可以在Scipion/Xmipp获得。简介与背景低信噪比和高对比度伪影和污染物在显微照片中的存在，降低了颗粒挑选算法的性能

题目&作者题目：一种用来做亚断层图像平均的特征引导的、聚焦的三维信号排列方法作者：几位来自Stanford University，还有北大的郭强通讯：Axel T. Brunger （德裔美国生物物理学家、分子和细胞生理学家，斯坦福大学的神经学和神经科学教授）摘要（背景）电子显微镜仪器、冷冻电子断层扫描数据收集和亚断层图像平均技术的进步使得分子及其复合物在其原生环境中的原位可视化成为可能。（问题）当前的数据处理流程通常将 subtomograms 提取为立方子体积，其关键假设是所选的

论文题目A Bayesian approach to single-particle electron cryo-tomography in RELION-4.0作者：Jasenko Zivanov（一作，MRC实验室）摘要本文提出了一种从冷冻断层扫描数据集中的多个颗粒确定大分子结构的新方法。虽然现有的子断层平均方法是基于三维数据模型的，但是本文建议优化一个近似于二维实验图像的函数的正则化似然目标。此外，类似于单颗粒分析中的贝叶斯抛光和CTF细化，本文利用信噪比得到增强的平均结构去优化倾斜序列的对

论文题目&作者Gum-Net: Unsupervised Geometric Matching for Fast and Accurate 3D Subtomogram Image Alignment and AveragingXiangrui Zeng, Min XuCVPR 2020创新点本文是第一个用于强变换变化和高噪声水平图像的三维无监督集合匹配方法。三个创新模块:观察到标准深度特征提取过程中的最大池化和平均池化操作都寻求局部变换不变性，这不适合进行精确的集合匹配，因为在特征

题目CryoDRGN: reconstruction of heterogeneous cryo-EM structures using neural networks （使用神经网络从异质性的单颗粒数据集中重建三维密度图。)作者： Ellen D，Zhong (MIT)该算法首先在人工智能的会议上发表，后拓展到Nature Methods上面。会议论文指路期刊论文指路GitHub指路摘要单颗粒分析方法对于重构刚性大分子结构的有效性，然后指出蛋白质复合物构象和组成的异质性对重建方法带来了

Facebook AI 提出了 DETR，利用 Transformer 去做目标检测，该方法去除了许多目标检测中的人工设计组件，同时展现了非常好的性能。但是，DETR 存在收敛速度慢和特征分辨率有限等缺陷。为了解决这些问题，来自商汤研究院等机构的研究者提出了可变形 DETR，其注意力模块仅关注于参考点附近的一小部分采样点作为注意力模块中的 key 元素。可变形 DETR 可以在比 DETR 少 9/10 的训练轮数下，达到更好的性能（尤其是在小物体上）。在 COCO 基准上的大量实验表明了该方法的有效性。.

参考链接：论文地址GitHub地址题目End-to-End Object Detection with Transformers摘要将目标检测任务转化成序列预测任务，使用transformer编码器-解码器结构和双边匹配的方法，由输入图像直接预测得到预测结果序列。和SOTA的检测方法不同，没有proposal（Faster R-CNN），没有anchor（YOLO），没有center（CenterNet），也没有NMS，直接预测检测框和类别，利用二分图匹配的算法，将CNN和transfo.

目录AbstractIntroductionRelated workMethodResultAN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALEAbstract本文证明了图像对CNN的依赖不是必要的，将纯transformer直接用于图像patch序列可以很好地执行图像分类任务。当对大量图像进行预训练并转移到多个中型或小型的图像识别基准数据库（ImageNet、CIFAR-100、VTAB等）时，和最先进

论文题目：SPHIRE-crYOLO is a fast and accurate fully automated particle picker for cryo-EM（COMMUNICATIONS BIOLOGY ，2019）The evolution of SPHIRE-crYOLO particle picking and its application in automated cryo-EM processing workflow（COMMUNICATIONS BIOLOGY ，2020.

背景目的：To free researchers from laborious particle-selection workTo acquire a large number of high-quality particles现有工具：Particle-selection tools：Conventional computational vision(edge detection, feature extraction, template matching):Picker, RELI

项目地址：https://github.com/tengteng95/Pose-Transfer.git.论文地址：https://arxiv.org/abs/1904.03349#论文简介：该文介绍了一个开源的人体姿态迁移算法，基于GAN（生成式对抗网络）思想构建，实现的功能是——给定一幅含有人物的图片和一个目标姿态，可以将图片内人物转换成目标姿态的样子。目标姿态可以是从其他...

针对这篇论文中的基于差分隐私的算法进行概括解析：|输入输入为结点对格式，用一个整数代表一个结点。例如下图，假如将A-F表示成1-6，则表示成节点对格式为：1 22 33 44 54 6|输出输出和输入的格式相同，结果为经差分隐私处理后的结点对。 |算法解析需求分析：建立一个系统，通过将原始图G提取成图结构的统计表示，添加受控水平的“噪声”，...

A Utility-aware Visual Approach for Anonymizing Multi-attribute Tabular Data（用于多属性表格数据匿名化的实用性感知可视方法）作者：Xumeng Wang, Jia-Kai Chou, Wei Chen, Huihua Guan, Wenlong Chen, Tianyi Lao, and Kwan-Liu Ma期刊：IEE...