笔记：Dissimilarity-Based Sparse Subset Selection

最新推荐文章于 2025-03-30 01:37:50 发布

翻译最新推荐文章于 2025-03-30 01:37:50 发布 · 1.8k 阅读

文章标签：

#相似度 #表示 #ADMM #selection #稀疏

稀疏表示专栏收录该内容

12 篇文章

订阅专栏

DS3算法是一种从大规模数据集中选择信息子集的方法，尤其适用于计算机视觉、推荐系统等领域。该文详细介绍了基于不相似度的稀疏子集选择问题，构建了一个行稀疏约束的优化模型，并利用ADMM进行求解。通过理论分析和实验，证明了DS3在处理异常点和聚类上的有效性，同时展示了在场景分类和时间序列建模任务上的优越性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Elhamifar, E., Sapiro, G., & Sastry, S. S. (2016). Dissimilarity-based sparse subset selection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(11), 2182-2197.
本文是这篇 PAMI 期刊论文的笔记，主要是对文中的理论方法进行展开详解。本人学术水平有限，文中如有错误之处，敬请指正。

摘要： 从一个大型的数据集或模板中找出有信息量的子集是一个重要的问题，对于许多的计算机视觉、推荐系统、生物/健康信息、和图像和自然语言处理的问题中。给予一对原集和目标集的元素之间的不相似度，考虑一个问题：从原集中找到一个子集，称为表示（representatives）或样例（exemplars），使得其可以有效地描述目标集。此文构建这个问题为一个行稀疏约束的迹最小化问题。由于该问题是一般的 NP-hard，需要考虑一个凸松弛代替。最优解找到一个表示，以及目标集中的每一个元素对原集中每一个的元素的赋值（权重）。也就是获得一个聚类。并分析了优化问题的解作为约束参数的解。此文并说明了当两个数据集被一起划分为多个组之后，此文的算法找到来自所有组的表示，并对数据集进行了聚类。另外，此文的算法可以有效地处理异常点。此文的算法可以处理任意的不相似度，可以是非对称的或违背了三角不等式。为了有效地实现该算法，此文考虑了 Alternating Direction Method of Multipliers (ADMM) 交替乘子法，使得问题为平方级的复杂度。并且 ADMM 使得问题可以被并行化，更减少了计算的时间。最终，通过真实的数据集，此文的算法提升了最好的结果在两个问题中：场景分类（用图像表示）和时间序列建模和分割（用模型表示）。

1 简介

略

2 Dissimilarity-Based Sparse Subset Selection (DS3)

2.1 问题陈述

假设有一个原集 $\mathbb{X} = \{\mathbf{x}_1,\cdots, \mathbf{x}_M\}$ 和一个目标集 $\mathbb{Y} = \{\mathbf{y}_1,\cdots, \mathbf{y}_N\}$ ，分别包含 $M$ 和 $N$ 个元素，已经得到了两个数据集之间每一对元素的的不相似度 $\{d_{ij}\}_{i=1,\cdots,M}^{j=1,\cdots,N}$ 。每一个 $d_{ij}$ 表示一个 $\mathbf{x}_i$ 能表示 $\mathbf{y}_j$ 的程度，也就是 $d_{ij}$ 的值越小， $\mathbf{x}_i$ 能越好地表示 $\mathbf{y}_j$ 。此文构建一个不相似度的矩阵

D ≜ ⎡ ⎣ ⎢ ⎢ d T 1 ⋮ d T M ⎤ ⎦ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ d 11 ⋮ d M 1 d 12 ⋮ d M 2 \dots ⋱ \dots d 1 N ⋮ d M N ⎤ ⎦ ⎥ ⎥ \in R M \times N, (1)

$\begin{equation} \mathbf{D} \triangleq \begin{bmatrix} \mathbf{d}_1^\text{T} \\ \vdots \\ \mathbf{d}_M^\text{T} \end{bmatrix} = \begin{bmatrix} d_{11} & d_{12} & \cdots & d_{1N} \\ \vdots& \vdots & \ddots & \vdots \\ d_{M1} & d_{M2} & \cdots & d_{MN} \\ \end{bmatrix} \in \mathbb{R}^{M \times N} , \tag{1} \end{equation}$
其中

di∈RN $\mathbf{d}_i \in \mathbb{R}^N$ 表示

D $\mathbf{D}$ 的第

i $i$ 行。给定一个矩阵

D $\mathbf{D}$ ，目标是找到一个子集

X $\mathbb{X}$ 可以很好地表示集合

Y $\mathbb{Y}$ 中的元素，如图 2 所示。

这里写图片描述

对比一些当前的最先进的算法 1 2 3，此文不限制 $\mathbb{X}$ 和 $\mathbb{Y}$ 有同类的元素或相等。比如， $\mathbb{X}$ 可以为一个模型集合， $\mathbb{Y}$ 可以为数据集合，在这样的情况下，此文选择一系列模板，使得很好地表示数据集，如图 3 所示。

这里写图片描述

这里的不相似度，可以表示为用模板表示数据的编码误差。另一方面， $\mathbb{X}, \mathbb{Y}$ 可以包含同类的元素或相等。比如， $\mathbb{X}, \mathbb{Y}$ 对应模板的集合，于是此文的目标是选择有表达能力的模板。不相似度的例子是动态系统之间的距离，和概率分布之间的 KL 散度。而且，当 $\mathbb{X}, \mathbb{Y}$ 表示数据点，此文的目标是选择有表达性的数据点，如图 4 所示。比如数据点之间的汉明 (Hamming) 距离，欧几里得 (Euclidean) 距离，和测地距离。

这里写图片描述

2.2 不相似度

注意的是此文可以关注于相似度 $\{ s_{ij} \}$ 和不相似度 $\{ d_{ij} \}$ ，仅通过设置 $d_{ij} = - s_{ij}$ 。比如当 $\mathbb{X} = \mathbb{Y}$ ，可以设置 $d_{ij} = - \mathbf{K}_{ij}$ ，其中 $\mathbf{K}$ 表示一个数据集的核矩阵。当矩阵 $\mathbb{X}, \mathbb{Y}$ 的元素的合适的向量空间的表示给定之后，可以使用预定义的函数计算不相似度，比如编码误差 $d_{ij} = || \mathbf{x}_i - \mathbf{A} \mathbf{y}_j ||$ 对于一个适合的矩阵 $\mathbf{A}$ ，欧几里得距离 $d_{ij} = || \mathbf{x}_i - \mathbf{y}_j ||_2$ ，或截断二次距离 $d_{ij} = \min \{ \beta, || \mathbf{x}_i - \mathbf{y}_j ||_2^2 \}$ ，其中 $\beta$ 是一个常数。然而，这里可以计算（不）相似度而不通过数据的向量空间表示，比如社交网络图中的一些边，图像之间的按成对元素的主观比较，或句子之间的通过字符串核的比较。最终，可以得到（不）相似度，比如使用度量学习方法 4 5 。

2.3 DS3 算法

给定 $\mathbf{D}$ ，目标是选择一个子集 $\mathbb{X}$ ，称为表示（representatives）或样例（exemplars），使得其可以有效地表示 $\mathbb{Y}$ 。因此，考虑一个优化问题于未知的变量 $z_{ij}$ 关联着不相似度 $d_{ij}$ ，其所有的变量的矩阵定义如下

Z ≜ ⎡ ⎣ ⎢ ⎢ z T 1 ⋮ z T M ⎤ ⎦ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ z 11 ⋮ z M 1 z 12 ⋮ z M 2 \dots ⋱ \dots z 1 N ⋮ z M N ⎤ ⎦ ⎥ ⎥ \in R M \times N, (2)

$\begin{equation} \mathbf{Z} \triangleq \begin{bmatrix} \mathbf{z}_1^\text{T} \\ \vdots \\ \mathbf{z}_M^\text{T} \\ \end{bmatrix} = \begin{bmatrix} z_{11} & z_{12} & \cdots & z_{1N} \\ \vdots & \vdots & \ddots & \vdots \\ z_{M1} & z_{M2} & \cdots & z_{MN} \\ \end{bmatrix} \in \mathbb{R}^{M \times N} , \tag{2} \end{equation}$
其中

zi∈RN $\mathbf{z}_i \in \mathbb{R}^{N}$ 是

Z $\mathbf{Z}$ 的第

i $i$ 行。这里将

zij∈{0,1} $z_{ij} \in \{ 0, 1 \}$ 解释为

xi $\mathbf{x}_i$ 表示

yj $\mathbf{y}_j$ 的指示值，如果

xi $\mathbf{x}_i$ 是

yj $\mathbf{y}_j$ 的表示，其值为

1 $1$ 。为了确保每一个

yj $\mathbf{y}_j$ 能被一个

xi $\mathbf{x}_i$ 表示，必须满足

∑Ni=1zij=1 $\sum_{i=1}^{N} z_{ij} = 1$ 。

2.3.1 Simultaneous Sparse Recovery-Based Optimization

为了选择一部分的 $\mathbb{X}$ 的元素，根据不相似度，能很好地编码 $\mathbb{Y}$ ，此文提出了基于 $\mathbf{Z}$ 的行稀疏约束的迹最小化问题（row-sparsity regularized trace minimization），实现两个目标。首先， $\mathbb{Y}$ 能够被很好地编码。如果 $\mathbf{x}_i$ 被用于表示 $\mathbf{y}_j$ ，其表示的代价为 $d_{ij} z_{ij} \in \{ 0, d_{ij} \}$ 。于是，使用 $\mathbb{X}$ 表示 $\mathbf{y}_j$ 的代价是 $\sum_{i=1}^{M} d_{ij} z_{ij}$ ，并且，用 $\mathbb{X}$ 编码整个矩阵 $\mathbb{Y}$ 的代价为 $\sum_{j=1}^{N} \sum_{i=1}^{M} d_{ij} z_{ij}$ 。第二，希望能使用尽可能少的数据来表示。注意当 $\mathbf{x}_i$ 是 $\mathbb{Y}$ 的某一些元素的表示时，有 $\mathbf{z}_i \neq 0$ ，也就是 $\mathbf{Z}$ 的第 $i$ 行是非零的。于是，有较少的表示对应着有较少的非零行在 $\mathbf{Z}$ 中。结合以上的两个目标，考虑如下的优化问题

min {z i j} s.t. λ \sum i = 1 M I (| | z i | | p) + \sum j = 1 N \sum i = 1 M d i j z i j \sum i = 1 M z i j = 1, \forall j; z i j \in {0, 1}, \forall i, j, (3)

$\begin{align} \min_{\{z_{ij}\}} & \ \ \lambda \sum_{i=1}^{M} \text{I} \left(|| \mathbf{z}_i ||_p \right) + \sum_{j=1}^{N} \sum_{i=1}^{M} d_{ij} z_{ij} \\ \text{s.t.} & \ \ \sum_{i=1}^{M} z_{ij} = 1, \ \forall \, j ; \ z_{ij} \in \{ 0, 1 \}, \ \forall \, i, j, \tag{3} \end{align}$
其中

||⋅||p $|| \cdot ||_p$ 表示

ℓp $\ell_p$ 范数，

I(⋅) $\text{I} (\cdot)$ 表示一个指示函数，如果其参数为

0 $0$ ，值也为零；否则，值为

1 $1$ 。目标函数的第一项对应表示的数量，第二项表示编码

Y $\mathbb{Y}$ 的总代价。约束参数

λ>0 $\lambda > 0$ 权衡两项的大小。由于该函数包含计算

Z $\mathbf{Z}$ 的非零行的数量，和二值约束

zij∈{0,1} $z_{ij} \in \{ 0,1 \}$ 是非凸的，一般是 NP-hard，所以此文考虑了如下的凸松弛

min {z i j} s.t. λ \sum i = 1 M | | z i | | p + \sum j = 1 N \sum i = 1 M d i j z i j \sum i = 1 M z i j = 1, \forall j; z i j \geq 0, \forall i, j, (4)

$\begin{align} \min_{\{z_{ij}\}} & \ \ \lambda \sum_{i=1}^{M} || \mathbf{z}_i ||_p + \sum_{j=1}^{N} \sum_{i=1}^{M} d_{ij} z_{ij} \\ \text{s.t.} & \ \ \sum_{i=1}^{M} z_{ij} = 1, \ \forall \, j ; \ z_{ij} \geq 0, \ \forall \, i, j, \tag{4} \end{align}$
其中直接使用

ℓp $\ell_p$ 范数的和代替计算非零行的个数。另外，使用了松弛

zij∈[0,1] $z_{ij} \in [0,1]$ ，所以

zij $z_{ij}$ 可以理解为

xi $\mathbf{x}_i$ 表示

yj $\mathbf{y}_j$ 的概率。注意当

p≥1 $p \geq 1$ 时，该优化问题是凸的。此文选择

p∈{2,∞} $p \in \{ 2, \infty \}$ ，尤其当

p=2 $p = 2$ 时，获得一个软赋值表示

{zij} $\{ z_{ij} \}$ 是在

[0,1] $[0,1]$ 之间的；当

p=∞ $p = \infty$ 时，获得一个硬赋值表示

{zij}∈{0,1} $\{ z_{ij} \} \in \{ 0, 1 \}$ 。将以上的目标函数重写为矩阵的形式

min Z s.t. λ | | Z | | 1, p + tr (D T Z) 1 T Z = 1 T, Z \geq 0, (5)

$\begin{align} \min_{\mathbf{Z}} & \ \ \lambda || \mathbf{Z} ||_{1,p} + \text{tr} \left( \mathbf{D}^\text{T} \mathbf{Z} \right) \\ \text{s.t.} & \ \ \mathbf{1}^\text{T} \mathbf{Z} = \mathbf{1}^\text{T}, \ \mathbf{Z} \geq \mathbf{0}, \tag{5} \end{align}$
其中

||Z||1,p≜∑Mi=1||zi||p $|| \mathbf{Z} ||_{1,p} \triangleq \sum_{i=1}^{M} || \mathbf{z}_i ||_p$ ，

1 $\mathbf{1}$ 表示一个值全为

1 $1$ 的向量，有着合适的维度。另外，

tr(⋅) $\text{tr}( \cdot )$ 表示迹函数，有时候将其也写作

tr(DTZ)=⟨D,Z⟩ $\text{tr} \left( \mathbf{D}^\text{T} \mathbf{Z} \right) = \langle \mathbf{D}, \mathbf{Z} \rangle$ ，也就是矩阵的内积。

2.3.2 约束参数的作用

当改变约束参数 $\lambda$ 的大小时，找到的表达的数量就会改变。对于小的 $\lambda$ 值，优化时更关注 $\mathbb{X}$ 能更好地编码 $\mathbb{Y}$ ，能获得更多的表示的数量。在极限情况 $\lambda \rightarrow 0$ ， $\mathbb{Y}$ 中的每一个元素都由其对应 $\mathbb{X}$ 中的最近的元素表示，即 $z_{i_j^* j} = 1$ ，其中 $i_j^* \triangleq \arg\min_i d_{ij}$ 。另一方面，如果 $\lambda$ 的值过大，优化时更关注于 $\mathbf{Z}$ 的行稀疏性，选择数量较少的表示。对于一个充分大的 $\lambda$ ，只从 $\mathbb{X}$ 中选择一个表达。

图 3 中一个近似非线性的流形，使用表达仿射模型（从带噪声的数据中获得） $p = \infty$ 。随着减少 $\lambda$ 的值，会选择越来越多的仿射模型，使其更好地近似该流形。图 4 展示了表达（第一行）和系数 $\mathbf{Z}$ （第二行），对于 $p = \infty$ 和几个不同的 $\lambda$ 值，应用于 3 个高斯分布混合的数据模型中，不相似度定义为两点之间的欧几里得距离。

2.4 处理异常点

此文的算法可以有效地处理异常值，于原集和目标集中。一个原集的异常值对应着一个元素不能很好地去表示目标集的元素。由于此文的框架是选择一些表示， $\mathbb{X}$ 中这样的异常值不会被选择，如图 5a 所示。其实，这是选择表示的优点之一，除了减少大的集合的数量，还能拒绝一些 $\mathbb{X}$ 中的异常点。

这里写图片描述

另一方面，目标集 $\mathbb{Y}$ 中，可能包含一些异常的元素，其不能被 $\mathbb{X}$ 中的任何元素有效地编码。比如， $\mathbb{X}$ 和 $\mathbb{Y}$ 对应模板和数据点，其中一些数据点不能有效地被任何的模板解释，也就是，有很大的表示误差。因为之前的优化问题要求 $\mathbb{Y}$ 中的每一个元素被编码，如果强迫使异常点被 $\mathbb{X}$ 编码，通常会导致选择一些不理想的表示。这样的情况，需允许优化问题不编码这些异常点。

为了实现这个目标，此文介绍了一个新的优化变量 $e_j \in [0,1]$ 关于每一个 $\mathbf{y}_j$ ，其数值表示 $\mathbf{y}_j$ 是一个异常点的概率。据此，提出以下的优化目标

min {z i j}, {e j} s.t. λ \sum i = 1 M | | z i | | p + \sum j = 1 N \sum i = 1 M d i j z i j + \sum j = 1 N w j e j \sum i = 1 M z i j + e j = 1, \forall j; z i j \geq 0, \forall i, j; e j \geq 0, \forall j . (6)

$\begin{align} \min_{\{z_{ij}\}, \{e_j\}} & \ \ \lambda \sum_{i=1}^{M} || \mathbf{z}_i ||_p + \sum_{j=1}^{N} \sum_{i=1}^{M} d_{ij} z_{ij} + \sum_{j=1}^N w_j e_j\\ \text{s.t.} \ \ & \ \ \sum_{i=1}^{M} z_{ij} + e_j = 1, \ \forall \, j ; \ z_{ij} \geq 0, \ \forall \, i, j; \ e_j \geq 0, \ \forall \, j . \tag{6} \end{align}$
上述的约束表明，每一个

yj $\mathbf{y}_j$ ，有概率是一个正常点，会被

X $\mathbb{X}$ 编码，加上其是一个异常点的概率，和必须为

1 $1$ 。当

ej=0 $e_j = 0$ ，可以得到

∑Mi=1zij=1 $\sum_{i=1}^M z_{ij} = 1$ 。这表示

yj $\mathbf{y}_j$ 是正常点，必须使用

X $\mathbb{X}$ 编码。另一方面，如果

ej=1 ${e}_j = 1$ ，可以得到

∑Mi=1zij=0 $\sum_{i=1}^M z_{ij} = 0$ 。那么

yj $\mathbf{y}_j$ 是一个异常点，不需要进行编码。权值

wj>0 $w_j > 0$ 惩罚

yj $\mathbf{y}_j$ 选为一个异常点。如果

wj $w_j$ 的值越小，

yj $\mathbf{y}_j$ 越有可能是一个异常点。如果没有这个惩罚项，当每一个

wj $w_j$ 都为

0 $0$ 时，就会得到无用的解：

Y $\mathbb{Y}$ 的每一个元素都是异常点，因为通过只惩罚目标函数中的

zij $z_{ij}$ ，会得到每一个

zij=0 $z_{ij} = 0$ 和每一个

ej=1 $e_{j} = 1$ 。

将上述的目标优化重写为矩阵形式：

min Z, e s.t. λ | | Z | | 1, p + tr ⎛ ⎝ [D w T] T [Z e T] ⎞ ⎠ 1 T [Z e T] = 1 T, [Z e T] \geq 0, (7)

$\begin{align} \min_{\mathbf{Z}, \mathbf{e}} & \ \ \lambda || \mathbf{Z} ||_{1,p} + \text{tr} \left( \begin{bmatrix} \mathbf{D} \\ \mathbf{w}^\text{T} \\ \end{bmatrix}^\text{T} \begin{bmatrix} \mathbf{Z} \\ \mathbf{e}^\text{T} \\ \end{bmatrix} \right) \\ \text{s.t.} & \ \ \mathbf{1}^\text{T} \begin{bmatrix} \mathbf{Z} \\ \mathbf{e}^\text{T} \\ \end{bmatrix} = \mathbf{1}^\text{T}, \ \begin{bmatrix} \mathbf{Z} \\ \mathbf{e}^\text{T} \\ \end{bmatrix} \geq \mathbf{0}, \tag{7} \end{align}$
其中

e=[e1,⋯,eN]T∈RN $\mathbf{e} = [ e_1, \cdots, e_N]^\text{T} \in \mathbb{R}^N$ 是异常点的指示向量，

w=[w1,⋯,wN]T∈RN $\mathbf{w} = [ w_1, \cdots, w_N]^\text{T} \in \mathbb{R}^N$ 是对应的权重向量。

一个可能的解是所有的权值都相等 $w_j = w$ ，会使得优化中又多出一个约束参数。另一个选择是权值设置如下

w j = β exp (- min i d i j τ),

$\begin{equation} w_j = \beta \, \exp \left( {- \frac{\min_i d_{ij}}{\tau}} \right) , \end{equation}$
其中参数

β>0, τ>0 $\beta > 0, \ \tau > 0$ 。换句话说，如果原集中存在一个元素可以很好地表示

yj $\mathbf{y}_j$ ，那么

yj $\mathbf{y}_j$ 成为一个异常点的可能性就应该减小，也就是

wj $w_j$ 应该增加，反之亦然。图 5b 阐述了处理异常点的优化的效果。

2.5 聚类

最优解 $\mathbf{Z}^*$ 不仅表示 $\mathbb{X}$ 中的元素被选择用作表示，也包含了 $\mathbb{Y}$ 中的元素的表示成员信息。具体来说， $\left[ z_{1j}^*, \cdots, z_{Mj}^* \right]^\text{T}$ 对应着概率向量 $\mathbf{y}_j$ 被 $\mathbb{X}$ 中的每一个元素表示。因此，赋予了 $\mathbf{y}_j$ 软约束 $z_{ij}^* \in [0,1]$ 。也可以得到一个硬赋值，也就是用优化的最终解得到 $\mathbb{Y}$ 的聚类。具体来说，如果 $\{ \mathbf{x}_{\ell_1}, \cdots, \mathbf{x}_{\ell_K} \}$ 表示一个表示的集合，可以赋予 $\mathbf{y}_j$ 来给 $\mathbf{x}_{\delta_j}$ 表示，根据公式

δ j = arg min i \in {ℓ 1, \dots, ℓ K} d i j .

$\begin{equation} \delta_{j} = \arg \min_{ i \in \{ \ell_1, \cdots, \ell_K \} } d_{ij} . \end{equation}$
因此，可以将

Y $\mathbb{Y}$ 分开至

K $K$ 个组，对应着

K $K$ 个表示。

2.6 Alternative Formulation

上述的优化问题并不直接要求具体的表示数量，而是旨在，通过 $\lambda$ ，来平衡编码代价和表示数量的关系。一种交替凸优化的方式（对于 $p \geq 1$ ），通过 Lagrange 乘子

min Z tr (D T Z) s.t. 1 T Z = 1 T, Z \geq 0, | | Z | | 1, p \leq τ, (8)

$\begin{equation} \min_{\mathbf{Z}} \ \text{tr} \left( \mathbf{D}^\text{T} \mathbf{Z} \right) \quad \text{s.t.} \ \mathbf{1}^\text{T} \mathbf{Z} = \mathbf{1}^\text{T}, \ \mathbf{Z} \geq 0, \ || \mathbf{Z} ||_{1,p} \leq \tau , \tag{8} \end{equation}$
其中

τ>0 $\tau > 0$ 是一个约束参数。其实，该优化问题，在给定的表示‘负担’

τ $\tau$ 下，最小化编码误差。对于

p=∞ $p = \infty$ ，明显会得到结果

{0,1} $\{ 0, 1 \}$ ，并且

τ $\tau$ 对应着理想的表达数量。

3 DS3 实现

此文考虑 Alternating Direction Method of Multipliers (ADMM) 6 7 交替乘子法来实现 DS3 算法。这个实现的计算复杂度为 $O(MN)$ ，其中 $M, N$ 分别是不相似矩阵的行数和列数。另外，该提出的算法可以是并行化的，可以有效地减少计算的时间。

考虑用 ADMM 方法实现优化问题，首先介绍一个辅助的变量 $\mathbf{C} \in \mathbb{R}^{M \times N}$ ，并给出如下的优化问题

min Z, C s.t. λ | | Z | | 1, p + tr (D T C) + μ 2 | | Z - C | | 2 F 1 T C = 1 T, C \geq 0, Z = C, (9)

$\begin{align} \min_{\mathbf{Z}, \mathbf{C}} & \ \ \lambda || \mathbf{Z} ||_{1,p} + \text{tr} \left( \mathbf{D}^\text{T} \mathbf{C} \right) + \frac{\mu}{2} || \mathbf{Z} - \mathbf{C} ||_\text{F}^2 \\ \text{s.t.} & \ \ \mathbf{1}^\text{T} \mathbf{C} = \mathbf{1}^\text{T}, \ \mathbf{C} \geq \mathbf{0}, \ \mathbf{Z} = \mathbf{C} , \tag{9} \end{align}$
其中

μ>0 $\mu > 0$ 是一个惩罚参数。此优化问题于原形式等价，都会找到相同的最优解

Z∗ $\mathbf{Z}^*$ 。将最后一个等式约束加入到目标函数中，结合 Lagrange 乘子

Λ∈RM×N $\mathbf{\Lambda} \in \mathbb{R}^{M \times N}$ ，可以得到无约束的 Lagrangian 函数如下

L = λ | | Z | | 1, p + μ 2 ∣ ∣ ∣ ∣ ∣ ∣ Z - (C - Λ μ) ∣ ∣ ∣ ∣ ∣ ∣ 2 F + h 1 (C, Λ) = \sum i = 1 M (λ | | Z i * | | q + μ 2 ∣ ∣ ∣ ∣ ∣ ∣ Z i * - (C i * - Λ i * μ) ∣ ∣ ∣ ∣ ∣ ∣ 22) + h 1 (C, Λ), (10)

$\begin{align} \mathcal{L} &= \lambda || \mathbf{Z} ||_{1,p} + \frac{\mu}{2} \left|\left| \mathbf{Z} - \left( \mathbf{C} - \frac{\mathbf{\Lambda}}{\mu} \right) \right|\right|_\text{F}^2 + h_1 (\mathbf{C}, \mathbf{\Lambda}) \\ &= \sum_{i=1}^M \left( \lambda || \mathbf{Z}_{i*} ||_q + \frac{\mu}{2} \left|\left| \mathbf{Z}_{i*} - \left( \mathbf{C}_{i*} - \frac{\mathbf{\Lambda}_{i*}}{\mu} \right) \right|\right|_2^2 \right) + h_1 (\mathbf{C}, \mathbf{\Lambda}) , \tag{10} \end{align}$
其中

Ai∗ $\mathbf{A}_{i*}$ 表示矩阵

A $\mathbf{A}$ 的第

i $i$ 行，

h1(⋅) $h_1(\cdot)$ 表示该项不依赖于

Z $\mathbf{Z}$ 。可以将该函数重写为

L = μ 2 ∣ ∣ ∣ ∣ ∣ ∣ C - (Z + Λ - D μ) ∣ ∣ ∣ ∣ ∣ ∣ 2 F + h 2 (Z, Λ) = \sum i = 1 N μ 2 ∣ ∣ ∣ ∣ ∣ ∣ C * i - (Z * i + Λ * i - D * i μ) ∣ ∣ ∣ ∣ ∣ ∣ 22 + h 2 (Z, Λ), (11)

$\begin{align} \mathcal{L} &= \frac{\mu}{2} \left|\left| \mathbf{C} - \left( \mathbf{Z} + \frac{\mathbf{\Lambda} - \mathbf{D}}{\mu} \right) \right|\right|_\text{F}^2 + h_2 (\mathbf{Z}, \mathbf{\Lambda}) \\ &= \sum_{i=1}^N \frac{\mu}{2} \left|\left| \mathbf{C}_{*i} - \left( \mathbf{Z}_{*i} + \frac{\mathbf{\Lambda}_{*i} - \mathbf{D}_{*i}}{\mu} \right) \right|\right|_2^2 + h_2 (\mathbf{Z}, \mathbf{\Lambda}) , \tag{11} \end{align}$
其中

A∗i $\mathbf{A}_{*i}$ 表示矩阵

A $\mathbf{A}$ 的第

i $i$ 列，

h2(⋅) $h_2(\cdot)$ 表示该项不依赖于

C $\mathbf{C}$ 。在初始化

Z,C,Λ $\mathbf{Z}, \mathbf{C}, \mathbf{\Lambda}$ 之后，ADMM 的步骤包括：1) 最小化

L $\mathcal{L}$ 关于

Z $\mathbf{Z}$ ，固定其他变量；2) 最小化

L $\mathcal{L}$ 关于

C $\mathbf{C}$ ，约束

{1TC=1T,C≥0} $\{ \mathbf{1}^\text{T} \mathbf{C} = \mathbf{1}^\text{T}, \mathbf{C} \geq 0 \}$ ，同时固定其他变量；3) 更新 Lagrange 乘子

Λ $\mathbf{\Lambda}$ ，固定其他变量。完成的算法步骤给出如下：

Algorithm 1: DS3 using ADMM

Initialize: $\mu=10^{-1},\ \varepsilon=10^{-7},\ \text{maxIter}=10^5,\ k=0,\ \mathbf{Z}^{(0)} = \mathbf{C}^{(0)} = \mathbf{I}, \ \mathbf{\Lambda}^{(0)}= \mathbf{0},\ \text{error1} = \text{error2} = 2 \varepsilon$ .
1: While $(\text{error1} > \varepsilon$ or $\text{error2} > \varepsilon)$ and $(k < \text{maxIter})$ do
2: 更新 $\mathbf{Z}, \mathbf{C}$

Z (k + 1) = arg min Z λ μ | | Z | | 1, p + 1 2 ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ Z - (C (k) - Λ ( k ) μ) ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ 2 F, C (k + 1) = arg min C ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ C - (Z (k + 1) + Λ ( k ) - D μ) ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ 2 F, s.t. 1 T C = 1 T, C \geq 0 .

$\begin{equation} \begin{gathered} \mathbf{Z}^{(k+1)} = \arg\min_{\mathbf{Z}} \ \frac{\lambda}{\mu} ||\mathbf{Z}||_{1,p} + \frac{1}{2} \left|\left| \mathbf{Z} - \left( \mathbf{C}^{(k)} - \frac{\mathbf{\Lambda}^{(k)}}{\mu} \right) \right|\right|_\text{F}^2 , \\ \mathbf{C}^{(k+1)} = \arg\min_{\mathbf{C}} \ \left|\left| \mathbf{C} - \left( \mathbf{Z}^{(k+1)} + \frac{\mathbf{\Lambda}^{(k)}- \mathbf{D}}{\mu} \right) \right|\right|_\text{F}^2 , \\ \text{s.t.} \ \ \mathbf{1}^\text{T} \mathbf{C} = \mathbf{1}^\text{T}, \ \mathbf{C} \geq \mathbf{0} . \end{gathered} \end{equation}$
3: 更新 Lagrange 乘子矩阵

Λ (k + 1) = Λ (k) + μ (Z (k + 1) - C (k + 1)) .

$\begin{equation} \mathbf{\Lambda}^{(k+1)} = \mathbf{\Lambda}^{(k)} + \mu \left( \mathbf{Z}^{(k+1)} - \mathbf{C}^{(k+1)} \right) . \end{equation}$
4: 更新误差

error1 error2 = ∣ ∣ ∣ ∣ Z (k + 1) - C (k + 1) ∣ ∣ ∣ ∣ \infty, = ∣ ∣ ∣ ∣ Z (k + 1) - Z (k) ∣ ∣ ∣ ∣ \infty .

$\begin{align} \text{error1} &= \left|\left| \mathbf{Z}^{(k+1)} - \mathbf{C}^{(k+1)} \right|\right|_{\infty} , \\ \text{error2} &= \left|\left| \mathbf{Z}^{(k+1)} - \mathbf{Z}^{(k)} \right|\right|_{\infty} . \end{align}$
5: 更新

k←k+1 $k \leftarrow k + 1$
6: End while
Output: 最优解

Z∗=Z(k) $\mathbf{Z}^* = \mathbf{Z}^{(k)}$ 。

该实现方法使得内存和计算时间复杂度为 $\mathbf{D}$ 的元素个数的倍数。另外，它可以被并行化，以减少计算的时间：

最小化 Lagrangian 函数关于 $\mathbf{Z}$ ，其计算时间复杂度为 $O(MN)$ 。这里可以获得最优解在 $p = 2$ 时，通过 shrinkage 操作；或是 $p = \infty$ 时，通过投影到 $\ell_1$ 球中 8 9 。注意到优化问题可以被分为 $M$ 个独立的子优化问题，根据 $\mathbf{Z}$ 的 $M$ 行。所以，如果有了 $P$ 个并行处理资源，可以减少计算时间到 $O([M/P] N)$ 。
最小化 Lagrangian 函数关于 $\mathbf{C}$ 服从单纯性的约束 $\{ \mathbf{1}^\text{T} \mathbf{C} = \mathbf{1}^\text{T}, \ \mathbf{C} \geq 0 \}$ ，可以使用一种算法 10 计算时间复杂度为 $O(M \log (M) N)$ 。注意到可以优化 $N$ 个独立的子优化问题，根据 $\mathbf{C}$ 的 $N$ 行。如果有了 $P$ 个并行处理资源，可以减少计算时间到 $O(M \log(M) [N / P])$ 。
更新参数 $\mathbf{\Lambda}$ 有着 $O(MN)$ 计算时间，也可以由 $M$ 行或 $N$ 列独立更新，于是计算时间复杂度变为 $O([M/P] N)$ 或 $O(M [N / P])$ ，如果使用 $P$ 个并行处理资源。

最终，此文提出的 ADMM 实现的算法，以 $O(M \log(M) N)$ 计算时间复杂度，但是可以减少到 $O([MN/P] \log(M))$ 。相比于标准的凸优化解法，比如 CVX 11 需要立方级或更高的复杂度，有明显的提升。

表1 平均计算时间： CVX 和此文的算法 $(\mu = 0.1),\ \lambda = 0.01 \lambda_{\max,p}$ ，运行 $100$ 次，基于随机生成的数据集大小 $N \times N$

N	30	50	100	200	500	1000	2000
$p = 2$
CVX	$1.2 \times 10^{0}$	$2.6 \times 10^{0}$	$3.1 \times 10^{1}$	$2.0 \times 10^{2}$	$5.4 \times 10^{3}$	$-$	$-$
ADMM	$8.3 \times 10^{-3}$	$7.5 \times 10^{-2}$	$1.8 \times 10^{-1}$	$2.5 \times 10^{0}$	$3.6 \times 10^{0}$	$2.4 \times 10^{1}$	$8.3 \times 10^{1}$
$p = \infty$
CVX	$4.3 \times 10^{0}$	$1.5 \times 10^{1}$	$2.5 \times 10^{2}$	$9.1 \times 10^{3}$	$-$	$-$	$-$
ADMM	$4.0 \times 10^{-1}$	$4.5 \times 10^{0}$	$7.6 \times 10^{0}$	$2.4 \times 10^{1}$	$7.8 \times 10^{1}$	$1.8 \times 10^{2}$	$6.8 \times 10^{2}$

表 1 列出了 CVX 和此文提出的算法的平均计算时间，基于 $100$ 次随机生成的数据集。实验平台为 X86-64 服务器， 1.2 GHz 处理器和 132 GB 内存。在 $p = 2$ 和 $p = \infty$ 情况下，此文的算法都明显快于 CVX 。

4 理论分析

4.1 约束参数的作用

优化目标的约束参数对两个相对的项进行权衡：表示的数量，和表示产生的编码误差。换句话说，如果选择了较多的表示数量，就可以获得较小的编码误差。反之亦然。当增加 $\lambda$ 的值时，则更重视惩罚表示的数量（相比于编码误差），所以此时更期望获得较少的表示数量。事实上，当 $\lambda$ 超过一定的阈值之后，就会只得到一个表示。具体地，可以证明如下的结果：

Theorem 1 考虑之前的优化问题，令 $\ell^* \triangleq \arg\min_{i} \mathbf{1}^\text{T} \mathbf{d}_i$ ，并且

λ max, 2 ≜ max i \neq ℓ N - - \sqrt 2 | | d i - d ℓ * | | 2 2 1 T ( d i - d * ℓ ), λ max, \infty ≜ max i \neq ℓ | | d i - d ℓ * | | 1 2 . (12)

$\begin{equation} \begin{gathered} \lambda_{\max,2} \triangleq \max_{i \neq \ell} \ \frac{\sqrt{N}}{2} \frac{|| \mathbf{d}_i - \mathbf{d}_{\ell^*} ||_2^2}{\mathbf{1}^\text{T} (\mathbf{d}_i - \mathbf{d}_\ell^*)} , \\ \lambda_{\max, \infty} \triangleq \max_{i \neq \ell} \ \frac{|| \mathbf{d}_i - \mathbf{d}_{\ell^*} ||_1}{2} . \end{gathered} \tag{12} \end{equation}$
对于

p∈{2,∞} $p \in \{ 2, \infty \}$ ，如果

λ≥λmax,p $\lambda \geq \lambda_{\max, p}$ ，优化问题的最优解为

Z∗=eℓ∗1T $\mathbf{Z}^* = \mathbf{e}_{\ell^*} \mathbf{1}^\text{T}$ ，其中

eℓ∗ $\mathbf{e}_{\ell^*}$ 表示一个第

ℓ∗ $\ell^*$ 个元素为

1 $1$ 而其他都为

0 $0$ 的向量。所以，对于

λ≥λmax,p $\lambda \geq \lambda_{\max,p}$ ，最优解对应着选择

xℓ∗ $\mathbf{x}_{\ell^*}$ 作为

Y $\mathbb{Y}$ 的表示。

注意到阈值 $\lambda_{\max,p}$ 一般来说对于 $p = 2$ 和 $p = \infty$ 两种情况是不同的。但是，却可以从中获得相同的表示 $\mathbf{x}_{\ell^*}$ ，也就是 $\mathbb{X}$ 的元素有着与 $\mathbb{Y}$ 相比、最小的不相似度的和。比如，当 $\mathbb{X} = \mathbb{Y}$ 时，数据点和不相似度是通过欧几里得距离计算的，单个表示对应着那些最接近的几何中位数 12 的数据点，如图 4 右边所示。

将 $\lambda$ 的值不断减小，更强调最小化 $\mathbb{Y}$ 的编码误差，相对于表示的数量。在极端情况下，当 $\lambda$ 接近一个任意小的非负的值时，可以获得一个最小的编码误差，其中对于每一个 $\mathbf{y}_j$ ，可以得到

z i * j j = 1, i * j ≜ arg min i d i j . (13)

$\begin{equation} z_{i_j^* j} = 1, \ \ i_j^* \triangleq \arg\min_{i} \ d_{ij} . \tag{13} \end{equation}$
换句话说，

Y $\mathbb{Y}$ 中的而每一个元素选择其最近的

X $\mathbb{X}$ 中的元素作为表示。

4.2 聚类证明

当 $\mathbb{X}$ 和 $\mathbb{Y}$ 都被分为多个组时，获得最优解之后， $\mathbb{Y}$ 的每一个分区选择它们的表示，从对应的 $\mathbb{X}$ 的分区中。这表明 $\mathbb{X}$ 中的每一个组都会被采样。为了更好地介绍这样的分区 $\mathbb{X}$ 和 $\mathbb{Y}$ ，考虑如下的例子

例 1 令 $\mathbb{X} = \{ \mathbf{x}_1, \cdots, \mathbf{x}_M \}$ 作为一系列模板， $\mathbb{Y} = \{ \mathbf{y}_1, \cdots, \mathbf{y}_M \}$ 作为一个数据点集合。假设 $\mathcal{G}_1^x$ 表示前 $q$ 个模板的索引，可以用于有效地表示前 $q'$ 个数据点，由 $\mathcal{G}_1^y$ 索引，但是剩余的 $N - q'$ 个数据点有无限大的不相似度，由 $\mathcal{G}_2^y$ 。类似地，假设 $\mathcal{G}_2^x$ 表示剩余的 $M - q'$ 个模板的索引，其可以有效地表示数据点（由 $\mathcal{G}_2^y$ 索引），但是对 $\mathcal{G}_1^y$ 的数据点有无限大的不相似度。最终，优化的解有如下的形式

Z * = [Z * 1 0 0 Z * 2], (14)

$\begin{equation} \mathbf{Z}^* = \begin{bmatrix} \mathbf{Z}_1^* & \mathbf{0} \\ \mathbf{0} & \mathbf{Z}_2^* \\ \end{bmatrix} , \tag{14} \end{equation}$
其中

Z∗1∈Rq×q′ $\mathbf{Z}_1^* \in \mathbb{R}^{q \times q'}$ 和

Z∗2∈RM−q×N−q′ $\mathbf{Z}_2^* \in \mathbb{R}^{M - q \times N - q'}$ 有较少的非零行。这样的情况下，

X $\mathbb{X}$ 和

Y $\mathbb{Y}$ 都被划分为两个组，

(Gx1,Gy1) $(\mathcal{G}_1^x, \mathcal{G}_1^y)$ 和

(Gx2,Gy2) $(\mathcal{G}_2^x, \mathcal{G}_2^y)$ ，其中

Y $\mathbb{Y}$ 的元素由

Gyk $\mathcal{G}_k^y$ ，记为

Y(Gyk) $\mathbb{Y}(\mathcal{G}_k^y)$ ；

X $\mathbb{X}$ 的元素由

Gxk $\mathcal{G}_k^x$ 索引，记为

X(Gxk) $\mathbb{X}(\mathcal{G}_k^x)$ ，对于

k=1,2 $k=1, 2$ 。

规范划分数据 $\mathbb{X}$ 和 $\mathbb{Y}$ 为 $L$ 个组 $\{( \mathcal{G}_k^x, \mathcal{G}_k^y )\}_{k=1}^L$ ，在最优解之中， $\mathcal{G}_k^y$ 的每一个分区选择其对应的分区 $\mathcal{G}_k^x$ 。首先介绍标记“不相似度半径” $( \mathcal{G}_k^x, \mathcal{G}_k^y )$ 和 “medoid” $\mathcal{G}_k^x$ 。

定义 1 令 $\mathcal{G}_k^x \subseteq \{ 1, \cdots, M \}$ 和 $\mathcal{G}_k^y \subseteq \{ 1, \cdots, N \}$ 。定义关于 $(\mathcal{G}_k^x, \mathcal{G}_k^y)$ 的不相似度半径为

r k = r (G x k, G y k) ≜ min i \in G x k max j \in G y k d i j . (15)

$\begin{equation} r_k = r \left( \mathcal{G}_k^x, \mathcal{G}_k^y \right) \triangleq \min_{i \in \mathcal{G}_k^x} \ \max_{j \in \mathcal{G}_k^y} \ d_{ij} . \tag{15} \end{equation}$
定义

ck $c_k$ 为

Gxk $\mathcal{G}_k^x$ 的 medoid，根据其中的每一个元素，可以得出不相似度半径为

c k = c (G x k, G y k) ≜ arg min i \in G x k (max j \in G y k d i j) . (16)

$\begin{equation} c_k = c \left( \mathcal{G}_k^x, \mathcal{G}_k^y \right) \triangleq \arg\min_{i \in \mathcal{G}_k^x} \left( \max_{j \in \mathcal{G}_k^y} \ d_{ij} \right) . \tag{16} \end{equation}$
换句话说，

ck $c_k$ 对应着

X(Gxk) $\mathbb{X}(\mathcal{G}_k^x)$ 中的元素与

Y(Gyk) $\mathbb{Y}(\mathcal{G}_k^y)$ 中的元素的最大不相似度最小的元素。同样，

rk $r_k$ 对应着

ck $c_k$ 到

Y(Gyk) $\mathbb{Y} (\mathcal{G}_k^y)$ 的最大不相似度。接着定义联合划分集合

X $\mathbb{X}$ 和

Y $\mathbb{Y}$ 。

定义 2 给定成对的 $\mathbb{X}$ 和 $\mathbb{Y}$ 之间的不相似度 $\{ d_{ij} \}$ ，则 $\mathbb{X}, \mathbb{Y}$ 被联合划分为 $L$ 个组 $\{ (\mathcal{G}_k^x, \mathcal{G}_k^y) \}_{k=1}^L$ 。如果对每一个 $\mathcal{G}_k^y$ 中的 $\mathbf{y}_j$ ，而 $\mathbf{x}_{c_k}$ 和 $\mathbf{y}_j$ 之间的不相似度严格小于 $\mathbf{y}_j$ 和其他任意组之间的最小不相似度，即

d c k j < min k' \neq k min i \in G x k' d i j, \forall k = 1, \dots, L, \forall j \in G y k . (17)

$\begin{equation} d_{c_k j} < \min_{k' \neq k} \ \min_{i \in \mathcal{G}_{k'}^x} \ d_{ij}, \ \forall \, k =1 , \cdots, L, \ \forall \, j \in \mathcal{G}_k^y . \tag{17} \end{equation}$
接着，此文说明如果

X $\mathbb{X}$ 和

Y $\mathbb{Y}$ 联合被划分为

L $L$ 个组，而且约束参数都选择合适的范围之后，

Y(Gyk) $\mathbb{Y} (\mathcal{G}_k^y)$ 选择其表示从

X(Gxk) $\mathbb{X} (\mathcal{G}_k^x)$ 中，如图 6 所示。

这里写图片描述

定理 2 给定成对的不相似度 $\{ d_{ij} \}$ ，假设 $\mathbb{X}, \mathbb{Y}$ 被联合划分为 $L$ 个组 $\{ (\mathcal{G}_k^x, \mathcal{G}_k^y) \}_{k=1}^L$ 根据 定义 2。那么 $\lambda_g$ 可以定义为

λ g ≜ min k min j \in G y k (min k' \neq k min i \in G x k' d i j - d c k j) . (18)

$\begin{equation} \lambda_g \triangleq \min_{k} \ \min_{j \in \mathcal{G}_k^y} \left( \min_{k' \neq k} \ \min_{i \in \mathcal{G}_{k'}^x} \ d_{ij} - d_{c_k j} \right) . \tag{18} \end{equation}$
对任意的

λ<λg $\lambda < \lambda_g$ ，

Y(Gyk) $\mathbb{Y} (\mathcal{G}_k^y)$ 从

X(Gxk) $\mathbb{X} (\mathcal{G}_k^x)$ 选择表示，对所有的

k=1,⋯,L $k=1,\cdots, L$ 。

4.3 相同的原集和目标集

如果原集和目标集是一样的，就是一种特殊的情况，当前也有一些算法研究这个问题 13 14 15 。在给定数据集中数据点成对的不相似度后，可以找到其表示。

假设 1 当 $\mathbb{X} = \mathbb{Y}$ 时，假设 $d_{jj} < d_{ij}$ 对任意的 $j$ 和 $i \neq j$ ，即假设每一个点最好的表示就是自身。

例 2 考虑如图 7 所示的数据集，其中所有点均由两个簇 $\mathcal{G}_1$ 和 $\mathcal{G}_2$ 中收集到，对应的 medoids 为 $\mathbf{x}_{c_1}$ 和 $\mathbf{x}_{c_2}$ 。两点之间的不相似度定义为欧几里得距离。为了能将数据划分为 $\mathcal{G}_1$ 和 $\mathcal{G}_2$ 根据 定义 2，对每一个 $\mathbf{x}_j$ （ $j$ 属于 $\mathcal{G}_k$ ）， $\mathbf{x}_j$ 和 $\mathbf{x}_{c_k}$ 之间的距离必定小于点 $\mathbf{x}_j$ 和另一个集合 $\mathcal{G}_{k'}$ 中任意的点 $\mathbf{x}_i$ 之间的距离， $k' \neq k$ 。正如图 7 左边和中间的部分所示。如此情况下，容易验证得到 $\lambda < r_{12} - \max \{ r_1, r_2 \}$ ，其中 $r_i$ 是每一个聚类簇的半径， $r_{ij}$ 代表两个簇之间的最短距离。

这里写图片描述

在 $\mathbb{X} = \mathbb{Y}$ 的情况下，当约束参数变得足够小的时候，每一个数据点都由其自身来表示，即 $z_{ii} = 1, \ \forall \, i$ 。换句话说，每一个点形成自己的类簇。其实，使用 定理 2，可以获得 $\lambda_\min$ 满足 $\lambda \leq \lambda_\min$ ，最优解就成了单位矩阵。

推论 1 假设 $\mathbb{X} = \mathbb{Y}$ ，并定义 $\lambda_\min \triangleq \min_{j} \left( \min_{i \neq j} d_{ij} - d_{jj} \right)$ 。对于 $\lambda \leq \lambda_\min$ 和 $p \in \{ 2, \infty \}$ ，优化的最优解为单位矩阵，即每一个数据点由其自身表示。

5 实验

略

A. Kulesza and B. Taskar, “k-DPPs: Fixed-size determinantal point processes,” in Proc. Int. Conf. Mach. Learn., 2011. ↩
B. J. Frey and D. Dueck, “Clustering by passing messages between data points,” Science, vol. 315, pp. 972–976, 2007. ↩
R. H. Affandi, A. Kulesza, E. B. Fox, and B. Taskar, “Nystrom approximation for large-scale determinantal processes,” in Proc. Int. Conf. Mach. Learn., 2013. ↩
E. P. Xing, A. Y. Ng, M. I. Jordan, and S. Russell, “Distance metric learning, with application to clustering with side-information,” in Proc. Adv. Neural Inf. Process. Syst., 2002, pp. 505–512. ↩
J. V. Davis, B. Kulis, P. Jain, S. Sra, and I. S. Dhillon, “Informationtheoretic metric learning,” in Proc. 24th Int. Conf. Mach. Learn., 2007, pp. 209–216. ↩
S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein, “Distributed optimization and statistical learning via the alternating direction method of multipliers,” Found. Trends Mach. Learn., vol. 3, pp. 1–122, 2011. ↩
D. Gabay and B. Mercier, “A dual algorithm for the solution of nonlinear variational problems via finite-element approximations,”Comput. Math. Appl., vol. 2, pp. 17–40, 1976. ↩
P. Combettes and V. Wajs, “Signal recovery by proximal forwardbackward splitting,” SIAM J. Multiscale Model. Simul., vol. 4, pp. 1168–2200, 2005. ↩
C. Chaux, P. Combettes, J. C. Pesquet, and V. Wajs, “A variational formulation for frame-based inverse problems,” Inverse Problems, vol. 23, pp. 1495–1518, 2007. ↩
J. Duchi, S. Shalev-Shwartz, Y. Singer, and T. Chandra, “Efficient projections onto the l1-ball for learning in high dimensions,” in Proc. Int. Conf. Mach. Learn., 2008, pp. 272–279. ↩
M. Grant and S. Boyd. CVX: Matlab software for disciplined convex programming [Online]. Available: http://cvxr.com/cvx ↩
G. Wesolowsky, “The Weber problem: History and perspective,”Location Sci., vol. 1, pp. 5–23, 1993. ↩
R. H. Affandi, A. Kulesza, E. B. Fox, and B. Taskar, “Nystrom approximation for large-scale determinantal processes,” in Proc. Int. Conf. Mach. Learn., 2013. ↩
A. Nellore and R. Ward, “Recovery guarantees for exemplarbased clustering,” arXiv:1309.3256, 2014. ↩
P. Awasthi, A. S. Bandeira, M. Charikar, R. Krishnaswamy, S. Villar, and R. Ward, “Relax, no need to round: Integrality of clustering formulations,” in Proc. Conf. Innovations Theoretical Comput.
Sci., 2015, pp. 191–200. ↩