- 博客(79)
- 收藏
- 关注
RSS订阅原创 【课堂笔记】统计
定义：利用样本数据，判断关于总体参数（如均值、比例、方差等）的某个假设是否合理。核心思想：如果各组均值真的相同，那“设总体服从任意分布，均值为。无论总体分布如何（只要均值。设总体中某事件发生的概率为。，从总体中抽取容量为。根据中心极限定理，当。
2025-12-14 21:32:36
909
原创 【课堂笔记】凸优化问题-2
这是非常强大的性质，意味着原问题和对偶问题可能有相同的最优值，可用于算法设计。二阶锥规划（Second-Order Cone Programming）对于凸优化问题，只要算法设计合理，通常能保证收敛到全局最优解。线性规划（Linear Programming）能自然推出KKT条件（必要条件）在任意。是最优的(optimal)，当且仅当。是可行解(feasible)，且。最后一个不等式是因为条件中。
2025-12-10 18:45:59
595
原创 【课堂笔记】复变函数-11
设fff是一个非常值的整函数。设a1ana1...an...是fff在C∗C∗上的零点。设hhh满足∑1∣an∣h1∞∑∣an∣h11∞最小的这样的hhh被称为fff的亏格(genus)当亏格有限，存在整函数gzg(z)gz使得fzzmegz∏∞n11−zanexp∑nk11kzankfzzmegzn1∏∞。
2025-12-08 21:17:36
499
原创 【课堂笔记】复变函数-10
一个族F⊂CXYF⊂CXY被称为正规的(normal)，当且仅当任意序列fnn≥1⊂Ffnn≥1⊂F，我们可以取子序列nj\set{n_j}nj，使得fnj(f_{n_j})fnj在一个紧集上一致收敛。一个度量空间XXX被称为可由紧集穷举的（Exhaustible by compact sets），当∃K1⊂K2⊂∃K1⊂K2⊂...KiK_iKi是紧集，Ki。
2025-12-03 19:45:09
604
原创 【课堂笔记】凸优化问题
定义仿射组合xθ1x1θkxkxθ1x1...θkxk，其中θ1θk1θ1...θk1θj∈Rθj∈R定义集合CCC的仿射凸包affCθ1x1θkxk∣xi∈C∑θi1affCθ1x1...θkxk∣xi∈C∑θi1定义凸组合xθ1x1θkxkxθ1x1...
2025-12-03 11:44:03
782
原创 【课堂笔记】共轭梯度法 & Bidiagonalization（双对角化）
使用一系列左反射（Householder reflections）和右反射来逐步引入零，使得矩阵变为双对角形式。共轭梯度法（Conjugate Gradient Method，简称 CG）是一种用于求解对称正定线性方程组。做相似变换或正交变换后，得到的结果是一个上Hessenberg矩阵，并且这个Hessenberg矩阵的。其核心思想是：在一个不断扩大的子空间中，寻找使误差在某种“能量范数”下最小的近似解。即只有主对角线和一条上对角线（或下对角线）非零的矩阵。，那么这个Hessenberg矩阵和变换矩阵。
2025-11-27 20:03:31
660
原创 【课堂笔记】概率论-4
X1X2Xn∼FθX1X2...Xn∼Fθ其中θ\thetaθ是未知参数，概率密度为fx;θf(x;\theta)fx;θ似然函数（Likelihood）定义为所有数据同时出现的概率（作为θ\thetaθ的函数）：为了方便计算，通常取对数，得到对数似然函数lnθ−logLnθ−∑i1nlogfXi;
2025-11-26 18:54:57
858
原创 【课堂笔记】复变函数-9
一个有理函数(rational)是一个全纯函数f:P1→P1f: \mathbb{P}^1 \to \mathbb{P}^1f:P1→P1如果fff是一个有理函数，fff不恒等于无穷，则存在两个多项式P,QP,QP,Q，(P,Q)=1(P, Q) = 1(P,Q)=1，且Q≢0Q \not\equiv 0Q≡0，满足f(z)=P(z)Q(z)f(z) = \frac{P(z)}{Q(z)}f(z)=Q(z)P(z)证明：用1f\frac{1}{f}f1替换fff，满足f(∞)≠∞f(\inft
2025-11-23 16:53:01
975
原创 【课堂笔记】复变函数-8
一个定义在两个黎曼曲面上的映射fX→Yf: X \to YfX→Y是全纯的，当∀x∈X∀x∈X，存在地图Uϕ(U, \phi)Uϕ和Vψ(V, \psi)Vψ，满足x∈UfU⊂Vx∈UfU⊂V，且映射ψ∘f∘ϕ−1ϕU→ψVψ∘f∘ϕ−1ϕU→ψV是全纯的。给定一个圆盘DDz0γD:=Dz0γ，记D∗D∖z0D∗D∖z0，设f。
2025-11-04 13:12:56
754
原创 【课堂笔记】特征值分解
设A∈Cm×mA∈Cm×m，如果存在λ∈Cx∈Cmλ∈Cx∈CmAxλxAxλx则称λ\lambdaλ是特征值(eigenvalue)，xxx是特征向量(eigenvector)设ΛAλiΛAλiXx1∣x2∣∣xmXx1∣x2∣...∣xm，则可以写成AXXΛAXXΛpAzdetzI−Az−λ1z。
2025-10-29 19:58:18
1018
原创 【课堂笔记】复变函数-7
设U⊂CU⊂C是开集，设γ\gammaγ是UUU上的一个循环，我们称γ\gammaγ是同调(homologues)于000的，如果∀z∈C∖U∀z∈C∖Unγz0nγz0设UV⊂CUV⊂C是两个开集，一个全纯函数fU→Vf: U \to VfU→V被称为双全纯的(biholomorphic)，如果存在逆f−1V→Uf−1V→U满足f−1f^{-1}f−1也是全纯的。
2025-10-29 12:14:45
724
原创 【课堂笔记】概率论-3
我们给出一类概率分布的通用表达式：f(x;θ)=h(x)exp{ <T(x),θ>−b(θ) }f(x; \theta) = h(x)\exp\set{\left<T(x), \theta\right> - b(\theta)}f(x;θ)=h(x)exp{⟨T(x),θ⟩−b(θ)}满足这个定义的分布被称为指数族分布定义Θ=dom(b):={ θ:b(θ)<∞ }\Theta = \text{dom}(b) := \set{\theta : b(\theta) < \infty}Θ=dom(b):
2025-10-26 14:02:46
707
原创 【课堂笔记】概率论-2
联合分布函数FabPX≤aY≤bFabPX≤aY≤b联合概率质量函数pxyPXxYypxyPXxYy如果XYX, YXY是联合连续的(jointly continuous)，当存在一个联合概率密度函数(Joint PDF)，满足对任意Borel集合C⊂R2C⊂R2PXY∈C∬CfxydxdyP((XY∈C∬Cfxydxdy定义XXX的。
2025-10-23 18:51:30
742
原创 【课堂笔记】复变函数-6
一个链(chain)是由“有限加法”定义的，形如∑ni1aiγii1∑naiγi，其中ai∈Zai∈Zγi\gamma_iγi是可求长曲线。链被称为一个循环(cycle)，如果所有的γi\gamma_iγi都是闭曲线。如果γ∑ni1aiγiγi1∑naiγifff是一个连续函数，定义在所有γi\gamma_iγi的像的并集上。定义∫γf。
2025-10-20 22:25:47
633
原创 【课堂笔记】复变函数-5
设uab→S1uab→S1utγt−w∣γt−w∣ut:=∣γt−w∣γt−w设πR→S1s↦e2πi⋅sπR→S1s↦e2πi⋅s，存在一个uuu的提升(lift)uab→Rπ∘uuuab→Rπ∘uu这样的提升u\hat{u}u不是唯一的，但总有u1−u2≡l∈Zu1−u2≡l∈Z。
2025-10-19 19:41:00
590
原创 【课堂笔记】复分析-习题课-1
在定义环绕数时，我们引入了uuu的提升(lift)u\hat{u}uγab→Cuab→S1t↦γt−w∣γt−w∣πR→S1s↦e2πi⋅suab→Rπ∘uu\ \\γab→Cuab→S1t↦∣γt−w∣γt−wπR→S1s↦e2πi⋅suab→Rπ∘uu我们希望证明这样的u\hat{u}u是存在的。
2025-10-19 13:56:14
697
原创 使用Scanpy的基本操作
新版本（>=1.5）中，Scanpy 改成直接使用 obsp[‘connectivities’] 和 `obsp[‘distances’]``，adata.uns[‘neighbors’] 只保留 参数信息，没有 ‘indices’旧版本（<1.5）中，adata.uns[‘neighbors’] 包含 ‘indices’ 和 ‘distances’一般推荐用具体的 read_xxx() 函数（更安全）。
2025-10-15 19:53:44
1249
原创 【课堂笔记】概率论-1
记作Ω\OmegaΩ，是一个实验所有可能结果的集合。例如：抛硬币的样本空间是HT\set{H, T}HT，测量灯泡寿命的样本空间是0∞0∞。
2025-10-15 18:58:59
795
原创 【课堂笔记】复变函数-4
曲线γγ1iγ2ab→Cγγ1iγ2ab→C称为光滑的(smooth)，当导数γ′tγ1′tiγ2′t≠0∀tγ′tγ1′tiγ2′t0∀t是存在的。对任意t∈abt∈abγ′t\gamma'(t)γ′t是一个连续函数。一条曲线被称为分段光滑的(piecewise smooth)，如果ab⋃lj1Ijabj1⋃lI。
2025-10-14 19:49:17
949
原创 【课堂笔记】LU分解，Cholesky分解
通过换主元的方式让所有非奇异的矩阵都能写为。是置换矩阵(permutation)而这篇将介绍另外两种分解方法。下面是实现算法的伪代码，精度为。时，我们会先利用高斯消元将。是Hermitian的，即。行交换，然后再进行消元。重复上述过程直到中间变成。我们由上面的变化可知，的操作，当它很小或者为。行的最大元素，将它与第。
2025-10-14 17:31:16
401
原创 【课堂笔记】稳定性和反向传播误差
通常在运算浮点数时，会产生溢出和精度不足等问题，这是影响算法性能的一个重要原因。所以我们会去统计算法进行的浮点数运算次数（flops），如果它在计算过程中对舍入误差不敏感，即：算法得到的结果近似于某个接近原始输入的问题的精确解。不是秩1的，无法表示为下面的形式（某个扰动后向量的精确外积）是stable的，但不是backward stable的。，如果它计算出的结果是某个微小扰动后输入的精确解。显然后两步是backward stable的，(accuracy)，如果对任意。如果将要解决的问题定义为。
2025-10-10 18:02:29
629
原创 【论文阅读笔记】VeloCycle
通过单细胞RNA测序(scRNA-seq)，得到一个细胞的基因数n∼104n \sim 10^4n∼104ucu_cuc，scs_csc表示未剪切mRNA和已剪切mRNA的表达量，记yc=(uc,sc)y_c = (u_c, s_c)yc=(uc,sc)，uc,sc∈Nnu_c, s_c \in \mathbb{N}^nuc,sc∈Nn每个细胞的潜在坐标 xxx 映射到通过确定性函数 s(x)s(x)s(x)（其中 s 表示“剪接”）描述的剪接基因表达水平流形 MMM根据问题的生物学结构选择流
2025-09-26 18:52:18
1062
原创 【课堂笔记】QR分解 - 最小二乘问题
通常我们希望找到x∈Cnx∈Cn，使得AxbAx = bAxb。定义残差(residual)为rb−Axr = b - Axrb−Ax，最小二乘问题希望找到使得残差∥r∥2\|r\|_2∥r∥2最小的xxx。
2025-09-26 18:51:35
1054
原创 【课堂笔记】复变函数-3
设f:U→Cf: U \to \mathbb{C}f:U→C是实可微的。将fff写作u+ivu + ivu+iv，则∂f∂x=∂u∂x+i∂v∂x ∂f∂y=∂u∂y+i∂v∂y ∂f∂z=12(∂f∂x−i∂f∂y) ∂f∂z‾=12(∂f∂x+i∂f∂y) ∂f=∂f∂zdz ∂‾f=∂f∂z‾dz‾ df=∂f+∂‾f\frac{\partial f}{\partial x} = \frac{\partial u}{\partial x} + i\frac{\partial v}{\partial
2025-09-22 19:20:09
613
原创 【课堂笔记】复变函数-2
将一个圆映射到另一个圆，同样取特殊情况，考虑圆周。保角矩阵一定是可逆的(invertible)。(rotation matrix)，如果。(differentiable)，当。是开集，我们形式地定义微分算子为形如。是实可微且满足C-R等式，则可以写出。【注意，这些都是直接定义的符号】(holomorphic)，如果。是旋转矩阵，当且仅当它保内积，且。(conformal)，如果。是个矩阵，我们可以将它看作。，我们可以将复值函数看为。处是复可微的，当且仅当。(circle)定义为。
2025-09-16 23:55:47
634
原创 【课堂笔记】复变函数-1
(path-connected)，当且仅当对任意。(complete)，当任意柯西序列是收敛的。(simply connected)，如果任意。(open cover)是开集的并，使得。中的两条路径（同起点和终点）都是同伦的。(totally bounded)，当。(homotopic)，如果存在这样的。(isolated)，如果存在开球。不是完备的，则存在一个柯西序列。是柯西的（结合有限取值），所以。(connected)，如果。是紧的，所以存在有限子覆盖。(bounded)，如果。
2025-09-15 19:58:01
906
原创 【课堂笔记】SVD奇异值分解
给定矩阵A∈Cm×nA∈Cm×n，其奇异值分解为AUΣV∗AUΣV∗，其中U∈Cm×mU∈Cm×m是酉的(unitary)V∈Cn×nV∈Cn×n是酉的Σ∈Rm×nΣ∈Rm×n是对角的(diagonal)规定σ1≥σ2≥≥σp≥0σ1≥σ2≥...≥σp≥0，其中pminmnpminmn。
2025-09-10 01:39:35
367
原创 【课堂笔记】VQ（向量量化），Codebook
（VQ）的生成模型，由 DeepMind 于 2017 年提出。它首次成功地将离散潜在表示引入到 VAE 框架中，使得模型能够学习到结构化的、类离散的潜在空间。在训练过程中，码本通过梯度更新，学习如何最好地代表潜在空间中的数据分布。（Reconstruction Loss），衡量重建图像。：stop-gradient，表示不更新编码器。它的基本结构由编码器，向量量化器，解码器组成。（codebook）是一个可学习的嵌入矩阵。，即不同码字收敛到同一个聚类中心，可以引入。，每个码字（code）
2025-07-26 13:13:04
1176
原创 【论文阅读笔记】scVelo : Generalizing RNA velocity to transient cell states through dynamical modeling
是个为了解决这个问题而提出的想法，它通过比较细胞里新生成的mRNA（未剪接的）和成熟的mRNA（已剪接的）比例，推测基因表达是“加速”（上调）还是“减速”（下调），从而预测细胞下一步会变成什么状态。这在现实中不总是对的，比如在快速发育或受外界刺激的细胞中，变化可能还没稳定就切换了状态（叫“瞬态”），或者不同细胞群的处理速度不一样。它们的比例反映了基因表达的变化速率（上调或下调），用于预测单个细胞未来的状态或发育方向。是一个向量，反映了细胞在低维空间中的动态移动方向，可以用来绘制箭头图，展示细胞的状态变化。
2025-06-21 19:59:36
1151
1
原创 【课堂笔记】生成对抗网络 Generative Adversarial Network（GAN）
这样能够生成与真实数据分布相似的合成数据，用于数据增强；同时通过生成器和判别器的对抗训练，生成器学习到真实数据的概率分布，生成的样本更加逼真、细节丰富。一方面，许多机器学习任务需要大量标注数据，但真实数据可能稀缺或昂贵（如医学影像、稀有事件数据）。在上述推导中，对随机分布进行了期望积分，但实际操作过程中直接计算上述积分是不可行的，我们会采用。另一方面，传统生成模型（如变分自编码器VAE）生成的样本往往模糊或缺乏多样性，难以。（通常是正态或均匀分布），输出生成的假数据。这两个神经网络是对抗性的，生成器。
2025-06-01 14:50:26
845
原创 【课堂笔记】标签传播算法Label Propagation Algorithm（LPA）
关键在于有已知标签的点的存在，它们从始至终都是稳定的。而每次更新，不确定的点都会根据相似性从邻居那里获取信息，从而使信息不断在图中散布，稳定性从确定点开始不断影响不确定的点，最终使整张图趋于稳定。在许多现实世界的机器学习任务中，获取大量标注数据（即带有正确标签的样本）成本高昂，例如需要专家参与（如医疗影像标注）或耗费大量时间（如语音转录）。（流形假设：相似的数据点倾向于具有相同标签）将已知标签传播到未标注数据，挖掘未标注数据的潜在结构。上，相似的数据点（即在流形上靠近的点）更有可能具有相同的标签。
2025-05-31 18:33:55
1215
原创 【课堂笔记】核方法和Mercer定理
核方法（Kernel Methods）是一类机器学习算法，旨在通过将数据从原始空间隐式映射到高维特征空间来解决非线性问题，同时利用核函数高效计算特征空间中的内积，而无需显式计算高维特征向量。设输入空间为XXKX×X→RKX×X→R满足其对应的Gram矩阵是正定的或半正定的，这保证了核函数在数学上定义了一个有效的内积空间。则这个核函数一定能写成某个高维空间的内积Kxx′ϕx⊤ϕx′Kxx′ϕx⊤ϕx′，这由Mercer定理支持。
2025-05-20 20:49:04
1221
原创 【课堂笔记】指数族与广义线性模型（GLMs）
py∣ηhyexpη⊤ϕy−Aηpy∣ηhyexpη⊤ϕy−Aη)]yyy：随机变量η\etaη自然参数（natural parameter），控制分布的形状ϕy\phi(y)ϕy充分统计量（sufficient statistics），从数据中提取的关键信息。hyh(y)hy基测度（base measure），一个与η\etaη无关的函数，通常起缩放作用。AηA(\eta)Aη对数配分函数。
2025-05-20 11:48:07
758
原创 【论文阅读笔记】模型的相似性
论文提出了柏拉图表征假设（Platonic Representation Hypothesis），认为随着AI模型（特别是深度神经网络）的规模、数据和任务多样性增加，不同模型的表征方式正在收敛到一个共享的、反映现实统计模型的表征，称之为柏拉图表征。这种表征类似于柏拉图《洞穴寓言》中描述的理想现实，捕捉了生成观测数据的世界事件联合分布。
2025-04-16 20:35:34
1280
1
原创 【课堂笔记】最优分类器
被称为贝叶斯风险，是理论上的最小可能错误率。的定义（最大化后验概率）等价于局部最优（最小化每个。Claim1将局部最优性推广到全局，证明。，贝叶斯分类器选择后验概率最大的标签，称为。我们要证明贝叶斯分类器的最优性。Claim2证明了贝叶斯分类器。可直接计算，但在现实中需要估计。，例如使用逻辑回归等方法逼近。在二分类任务中是显然的。由贝叶斯分类器的定义，的真分险小于等于任意分类器。目标是找到一个分类器。上最小化条件错误概率，则。定义为：对于每一个输入。
2025-03-18 19:56:40
1078
原创 【课堂笔记】定理：样本越多，测量的经验损失越接近真实损失
的增加而减小（分母变大），表明更多测试数据能更准确地估计真实风险。的增加而增大，反映了损失变异性对泛化误差的影响。增大），反映了更高置信度需要更宽松的界。，是模型在测试集上平均损失，用于估计。定理提供了一个概率上界，保证模型。之间的差不超过某个阈值的概率至少为。，且假设训练集和测试集的样本均从。中独立同分布(i.i.d)抽取。引入霍夫丁不等式，它表面对于。，是模型泛化能力的理论指标。界限随着损失函数范围。的随机变量，且由假设，
2025-03-18 16:55:04
951
原创 【调研】多模态模型中的connector
为了降低复杂度，不对称注意力机制让K和V仍然是输入数据的投影，但Q是从一个学习到的潜在数组（latent array）投影出来的，这个潜在数组的索引维度N远小于M。具体来说，新添加层的输出在添加到残差连接的输入表示之前，会乘以 tanh(𝛼)，其中 𝛼 是一个特定于层的可学习标量，初始化为 0。Gated Cross-Attention 层的原理是通过在预训练且冻结的语言模型（LM）层之间插入新的交叉注意力层，这些层从视觉特征中获取键（K）和值（V），而查询（Q）则从语言输入中获取。这些层后面跟着密集的
2025-02-17 19:59:49
796
原创 【调研任务】结构化约束缓解过拟合问题
过拟合（Overfitting）是机器学习和深度学习中常见的一个问题，指的是模型在训练数据上表现良好，但在测试数据或未见过的新数据上表现较差。过拟合通常发生在模型的复杂度过高，或者训练数据相对较少时，导致模型过度依赖于训练数据中的噪声和细节。为了提高模型的泛化能力，研究者们提出了多种方法来缓解过拟合问题，其中基于结构化约束的技术被认为是一个有效的解决方案。
2024-12-01 12:03:08
761
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人