高级算法笔记2

Scheduling on Parallel Machines

• 给定任务集合 J={J1,J2,…,J∣J∣}\mathscr{J} = \{J_1,J_2,\dots,J_{|\mathscr{J}|}\}J={J1​,J2​,…,J∣J∣​}，机器集合 M={M1,M2,…,M∣M∣}\mathscr{M} = \{M_1,M_2,\dots,M_{|\mathscr{M}|}\}M={M1​,M2​,…,M∣M∣​}，$J_j$ 分配给 $M_i$ 的处理时间为 $p_{ij}$，设 xij={0,1}x_{ij} = \{0,1\}xij​={0,1} 表示 $J_j$ 是否分配给 $M_i$，容易建出线性规划模型：

minimizetsubject to∑Mi∈Mxij=1∀Jj∈J∑Jj∈Jxijpij≤t∀Mi∈Mxij∈{0,1}∀Mi∈M,Jj∈J \begin{aligned} \text{minimize}\hspace{0.5em}t &\\ \text{subject to}\hspace{0.5em}\sum\limits_{M_i \in \mathscr{M}}x_{ij} &= 1 & \forall J_j\in \mathscr{J}\\ \sum\limits_{J_j \in \mathscr{J}}x_{ij}p_{ij} &\le t & \forall M_i \in\mathscr{M}\\ x_{ij} &\in \{0,1\} & \forall M_i\in \mathscr{M}, J_j\in\mathscr{J}\\ \end{aligned} minimizetsubject toMi​∈M∑​xij​Jj​∈J∑​xij​pij​xij​​=1≤t∈{0,1}​∀Jj​∈J∀Mi​∈M∀Mi​∈M,Jj​∈J​

• 将 $J_j$ 分配给 $p_{ij}$ 最小的 $M_i$，得到一个可行答案 $\tau$， 二分答案 $T\in \left[\frac{\tau }{|\mathcal{M}|},\tau \right]$，设 $S_T=\{(i,j):M_i\in \mathcal{M},J_j\in \mathcal{J},p_{ij}\le T\}$，我们只需判定以下约束是否存在可行解：

∑(i,j)∈STxij=1∀Jj∈J∑(i,j)∈STxijpij≤T∀Mi∈Mxij∈{0,1}∀(i,j)∈ST \begin{aligned} \sum\limits_{(i,j)\in S_T}x_{ij} &= 1 & \forall J_j \in \mathscr{J} \\ \sum\limits_{(i,j)\in S_T}x_{ij}p_{ij} &\le T &\forall M_i \in \mathscr{M} \\ x_{ij} &\in \{0, 1\} & \forall (i,j) \in S_T \\ \end{aligned} (i,j)∈ST​∑​xij​(i,j)∈ST​∑​xij​pij​xij​​=1≤T∈{0,1}​∀Jj​∈J∀Mi​∈M∀(i,j)∈ST​​

• 现将 xij∈{0,1}x_{ij} \in \{0, 1\}xij​∈{0,1} 放宽限制至 $x_{ij}\ge 0$，通过单纯形算法求出一组解 $LP(T)$，我们将通过合适的调整得到一组较好的近似解。
• Lemma 1 $LP(T)$ 中至多有 $|\mathcal{J}|+|\mathcal{M}|$ 个不为 0 的变量。

证明 由于总共有 $|S_T|$ 个变量，需恰有 $|S_T|$ 个相互独立的不等式取等号，而允许 $x_{ij}$ 不为 0 的不等式只有 $|\mathcal{J}|+|\mathcal{M}|$ 个，所以 $x_{ij}$ 为 0 的变量至少有 $|S_T|-(|\mathcal{J}|+|\mathcal{M}|)$ 个，原命题得证。

• Lemma 2 $LP(T)$ 至少有 $|\mathcal{J}|-|\mathcal{M}|$ 个为 1 的变量。

证明 假设 $\mathcal{J}$ 中有 $\alpha$ 个只分给一台 $M_i$ 的 $J_j$ 和 $\beta$ 个不止分给一台 $M_i$ 的 $J_j$，由 Lemma 1
$$\{\begin{array}{l}\alpha +\beta =|\mathcal{J}|\\ \alpha +2\beta \le |\mathcal{J}|+|\mathcal{M}|\end{array}\Rightarrow \{\begin{array}{l}\alpha \ge |\mathcal{J}|-|\mathcal{M}|\\ \beta \le |\mathcal{M}|\end{array}$$

• 显然 $LP(T)$ 中 $0\le x_{ij}\le 1$，我们将 $x_{ij}$ 中为 0 和为 1 的变量保留，构建二分图 $G=<\mathcal{J}\cup \mathcal{M},E>$，若 $x_{ij}>0$，将 $M_i$ 向 $J_j$ 连边。记 F={Jj∣∃(i,j)∈ST,0<xij<1}F = \{J_j | \exists(i,j)\in S_T, 0 < x_{ij} < 1\}F={Jj​∣∃(i,j)∈ST​,0<xij​<1}。

• Lemma 3 $G$ 中每个连通块要么是树，要么是基环树（pseudo-tree，either a tree or a tree plus a single edge，类似的有基环树森林的概念，pseudo-forest)。

证明 可以把 $G$ 中每个连通块看作是原问题的一个子问题，也对应一个同类型的线性规划，全局最优解一定是子问题的最优解，故可以对每个连通块应用 Lemma 1，即每个连通块内的边数不会超过点数。

• 对于任意 $v\in \mathcal{J}/F$，删去该点及其唯一的连边，剩下的图依然满足 Lemma 1，且叶子结点均属于 $\mathcal{M}$。对于树，可以从叶子结点开始不断往上贪心取匹配；对于基环树，贪心匹配去除环外的树，剩下的一定是一个偶环。即总一定存在一个关于 $F$ 的完美匹配。

• 将完美匹配对应的 $x_{ij}$ 设为 1，由匹配的定义以及 $p_{ij}\le T$，调整后得到的解至多扩大到原来解的两倍，故我们得到了 $\alpha =2$ 的近似算法。

• 构造以下例子可使 $\alpha$ 无限接近取到 2：

  • $m$ 台机器，$m(m-1)+1$ 个任务，其中一个任务 $J_1$ 处理时间为 $m$，其余为 1。
  • 线性规划找到的解可能是 $x_{i1}=\frac{1}{m}$，其余 $j$ 恰有一个 $x_{ij}=1$。
  • 这时候调整得到的解就为 $2m-1$，实际最优解为 $m$。

Knapsnack

• $n$ 的输入位数为 $\lfloor {\log }_{2}n\rfloor +1$：

  • 给 $a_1,a_2,\dots ,a_n$ 排序 ，把 max⁡{log⁡2ai}\max\{\log_2a_i\}max{log2​ai​} 认为是常数，输入规模为 $n$。
  • 判定 $N$ 是否为素数，输入规模为 ${\log }_{2}N$。

• 背包问题的时间复杂度 $\mathcal{O}(nB)$，输入规模只有 $\log B+\log n+\sum _{i=1}^n\log \text{size}(a_i)+\sum _{i=1}^n\log \text{profit}(a_i)$，有 $2^{\log B}=B$，是伪多项式算法。

• unnary encoding 编码长度等于数字大小，记 $|I{|}_u$ 表示输入 $I$ 在 unnary encoding 下的长度，$|I|$ 表示输入$I$ 在 binary encoding 下的长度。

• 伪多项式算法 时间复杂度是 $|I{|}_u$ 的多项式。

• 多项式算法 时间复杂度是 $|I|$ 的多项式。

• strongly NP-hard 在 unnary encoding 下仍然是 NP-hard。一个 strongly NP-hard 问题没有伪多项式解法除非 P = NP。

• weakly NP-hard 在 binary encoding 下是 NP-hard，但存在伪多项式算法。

• 设 $P=\max \text{profit}(a_i)$，设 $A[i,p]$ 表示前 $i$ 个物品的子集总价值为 $p$ 所能达到的最小容量，时间复杂度 $\mathcal{O}(n^{2}P)$。

A[1,0]=0,A[1,profit(a1)]=size(a1),∀0≤j≤nP,j≠1,j≠profit(a1),A[i,j]=∞A[i+1,p]=min⁡{A[i,p],size(ai+1)+A[i,p−profit(ai+1)]} \begin{aligned} A[1,0] = 0, A[1,\text{profit}(a_1)] &= \text{size}(a_1),\forall 0 \le j \le nP, j \not = 1, j \not = \text{profit}(a_1), A[i,j] = \infty\\ A[i+1,p] &= \min\{A[i,p], \text{size}(a_{i + 1}) + A[i,p-\text{profit}(a_{i + 1})]\} \end{aligned} A[1,0]=0,A[1,profit(a1​)]A[i+1,p]​=size(a1​),∀0≤j≤nP,j=1,j=profit(a1​),A[i,j]=∞=min{A[i,p],size(ai+1​)+A[i,p−profit(ai+1​)]}​

• polynomial-time approximation scheme(PTAS，多项式时间近似方案) 一个算法 $\mathcal{A}$ 满足对于给定参数 $\epsilon >0$，产生的解 $s$ 均满足 $\frac{|{\text{obj}}_{\Pi }(I,s)-\text{OPT}|}{\text{OPT}}\le \epsilon$ 且 $\mathcal{A}$ 的时间复杂度是 $|I|$ 的多项式。

• fully polynomial-time approximation scheme(FPTAS，完全多项式时间近似方案) 一个算法满足 $\mathcal{A}$ 满足 PTAS 对解的要求且运行时间是 $|I|$ 和 $\frac{1}{\epsilon }$ 的多项式。

KnapsackScaling($I$, $\epsilon$)

$K\leftarrow \frac{\epsilon P}{n}$
${\text{profit}}^{\prime }(a_i):=\lfloor \frac{\text{profit}(a_i)}{K}\rfloor$
Compute optimal solution $S^{\prime }$ for $I$ w.r.t. ${\text{profit}}^{\prime }(\cdot )$
return $S^{\prime }$

• 该算法是 FPTAS。

证明 设 OPT={o1,o2,…,ok}\text{OPT} = \{o_1, o_2, \dots, o_k\}OPT={o1​,o2​,…,ok​}

$$\begin{gathered} \text{profit}(S^{\prime })\ge K{\text{profit}}^{\prime }(S^{\prime })\ge \sum _{i=1}^{k}K{\text{profit}}^{\prime }(o_i)\ge \sum _{i=1}^k\text{profit}(o_i)-kK \\ \ge \text{profit}(S)-nK\ge \text{profit}(S)-\epsilon P\ge (1-\epsilon )\text{profit}(S) \end{gathered}$$

该算法的时间复杂度 $\mathcal{O}\left(n^2\frac{P}{K}\right)=\mathcal{O}\left(\frac{n^3}{\epsilon }\right)$

• FPTAS 与伪多项式算法的关系 若存在多项式 $p$，使得对于一个具有整数目标函数的最小化问题任意 $\text{OPT}(I)<p(|I{|}_u)$ ，若该最小化问题存在一个FPTAS，则一定存在一个对应的伪多项式算法。

证明 假设存在一个 FPTAS，取 $\epsilon =\frac{1}{p\left(|I{|}_u\right)}$
$$\{\begin{array}{l}\text{ALG}\ge \text{OPT}\\ \text{ALG}\le (1+\epsilon )\text{OPT}<\text{OPT}+1\end{array}\Rightarrow \text{ALG}=\text{OPT}$$
该算法的时间复杂度是关于 $|I|$ 和 $p(|I{|}_u)$ 的多项式，即时间复杂度是 $|I{|}_u$ 的多项式。

• 一个 strongly NP-Hard 问题有伪多项式算法，仅当 P = NP。
• 因此若一个 strongly NP-Hard 问题满足前述条件，有 FPTAS 仅当 P = NP。

Maximum Satisfiability

• 任何问题都能转化成 SAT，因为在计算机内本质上都是若干门电路的组合。
• 文字（literals） 变量或者变量取负。
• 子句（Clause） 文字的析取（disjunction），其长度为文字的个数。
• 给定一个 CNF（合取范式），有变量 $x_1,\dots ,x_n$，有子句 $C_1,\dots ,C_m$，对应的权为 $w_1,\dots ,w_m$，要求使得被满足的子句的权值和最大。

Randomized Algorithm

• 对 $x_i$ 随机取 0/1，每个子句被满足的概率大于等于 $\frac{1}{2}$，所以这是一个期望 $\alpha =\frac{1}{2}$ 的近似算法（注意和 $\alpha =\frac{1}{2}$ 的区别）。
  

Derandomization by Conditional Expectation

• 去随机化能够得到一个 $\alpha =\frac{1}{2}$ 的算法，对于每个 $x_{i+1}$，每次选择后续选择期望更大的决策，由归纳法

  1. 基础
     $$\{\begin{array}{l}\mathbb{E}(W)=\frac{\mathbb{E}(W|x_1=0)+\mathbb{E}(W|x_1=1)}{2}\ge \frac{\text{OPT}}{2}\\ \mathbb{E}(W|x_1=b_1)\ge \mathbb{E}(W|x_1=1-b_1)\end{array}\Rightarrow \mathbb{E}(W|x_1=b_1)\ge \frac{\text{OPT}}{2}$$

  2. 归纳
     $$\begin{gathered} \{\begin{array}{l}\mathbb{E}(W|x_1=b_1,\dots ,x_i=b_i)\ge \frac{\text{OPT}}{2}\\ \mathbb{E}(W|x_1=b_1,\dots ,x_i=b_i)=\frac{\mathbb{E}(W|x_1=b_1,\dots ,x_i=b_i,x_{i+1}=0)+\mathbb{E}(W|x_1=b_1,\dots ,x_i=b_i,x_{i+1}=1)}{2}\\ \mathbb{E}(W|x_1=b_1,\dots ,x_i=b_i,x_{i+1}=b_{i+1})\ge \mathbb{E}(W|x_1=b_1,\dots ,x_i=b_i,x_{i+1}=1-b_{i+1})\end{array} \\ \Rightarrow \mathbb{E}(W|x_1=b_1,\dots ,x_i=b_i,x_{i+1}=b_{i+1})\ge \frac{\text{OPT}}{2} \end{gathered}$$

• 注意到 $\mathbb{E}(W|x_1=b_1,\dots ,x_n=b_n)$ 是定值，故我们证明了其 $\alpha =\frac{1}{2}$。

• local consumption

  • greedy, local search

• global consumption

  • backtrace, branch and bound, LP, divide and conquer, DP

LP

• 转成线性规划模型，令 $C_j=\underset{i\in P_j}{\bigvee }{x}_i\vee \underset{i\in N_j}{\bigvee }\overline{x_i}$，

$$\begin{array}{rlr}\text{maximize}\sum _{j=1}^m{w}_j{z}_j& & \\ \text{subject to}\sum _{i\in P_j}{y}_i+\sum _{i\in N_j}(1-y_i)& \ge z_j& \forall 1\le j\le m\\ 0\le y_i\le 1& & \forall 1\le i\le n\\ 0\le z_j\le 1& & \forall 1\le j\le m\\ & & \end{array}$$

• 设求出的解为 $(y^{\ast },z^{\ast })$，则以 $y_i^{\ast }$ 的概率置 $x_i$ 为 1 可得到一个期望 $\alpha =1-\frac{1}{e}$ 的近似算法。

（分析过程不考）

证明

• 由均值不等式

$$\begin{array}{rl}\frac{n}{\sum _{i=1}^n\frac{1}{a_i}}& \le \sqrt[n]{\prod _{i=1}^n{a}_i}\le \frac{\sum _{i=1}^n{a}_i}{n}\le \sqrt{\frac{\sum _{i=1}^n{a}_i^2}{n}}\\ 调和平均数& \le 几何平均数\le 算术平均数\le 平方平均数\end{array}$$

• 考虑此时某个子句 $C_j$ 不满足的概率

$$\begin{array}{rl}& \prod _{i\in P_j}(1-y_i^{\ast })\prod _{i\in N_j}{y}_i^{\ast }\\ & \le {\left[\frac{1}{l_j}\left(\sum _{i\in P_j}(1-y_i^{\ast })+\sum _{i\in N_j}{y}_i^{\ast }\right)\right]}^{l_j}\\ & ={\left[1-\frac{1}{l_j}\left(\sum _{i\in P_j}{y}_j^{\ast }+\sum _{i\in N_j}(1-y_j^{\ast })\right)\right]}^{l_j}\\ & \le {\left(1-\frac{z_j}{l_j}\right)}^{l_j}\end{array}$$

• 因此 $C_j$ 满足的概率大于等于 $f(z_j)=1-{\left(1-\frac{z_j}{l_j}\right)}^{l_j}$。
• 注意到 $\forall z_j\in [0,1],f^{\prime }(z_j)\ge 0,f^{\prime \prime }(z_j)\le 0$，若 $f(0)=a,f(1)=a+b$，恒有 $f(x)\ge bx+a$，并且根据 $1+x\le e^x$，有

$$\begin{array}{rl}1-{\left(1-\frac{z_j}{l_j}\right)}^{l_j}& \ge \left[1-{\left(1-\frac{1}{l_j}\right)}^{l_j}\right]z_j\\ & \ge \left(1-\frac{1}{e}\right)z_j\end{array}$$

• 此时

$$\mathbb{E}(W)=\sum _{j=1}^m\left(1-\frac{1}{e}\right)w_j{z}_j\ge \left(1-\frac{1}{e}\right){\text{OPT}}_{LP}\ge \left(1-\frac{1}{e}\right){\text{OPT}}_{ILP}$$

• 同样可以通过条件期望将上述算法改为 $\alpha =\left(1-\frac{1}{e}\right)$ 的近似算法，每次选择期望下界更大的决策，证明同上。

Take the better of the two solution

• 假设以 $\frac{1}{2}$ 的概率随机选择 Randomized Algorithm 和 LP 两种算法之一，某个子句 $C_j$ 满足的概率至少为：

$$\frac{1}{2}\left\{\left[1-{\left(1-\frac{1}{l_j}\right)}^{l_j}\right]z_j+(1-2^{-l_j})\right\}\ge \frac{1}{2}\left\{\left[1-{\left(1-\frac{1}{l_j}\right)}^{l_j}\right]+(1-2^{-l_j})\right\}{z}_j$$

• 容易证明这两个函数的均值 $\ge 0.75$，因此我们得到了期望 $\alpha =\frac{3}{4}$ 的近似算法，同上可以通过条件期望优化到 $\alpha =\frac{3}{4}$ 的近似算法（选两种方法期望值取 $\max$ 最大的选项）。
  

Minimum-Degree Spanning Tree

• 给定一个连通图 $G=(V,E)$，找到一棵生成树 $T$，使得最大度数$\Delta (T)$ 最小。

• 该问题是 NP-hard 问题，因为 $|V|\ge 3$ 时恒有 $\Delta (T)\ge 2$，而 $\Delta (T)=2$ 的生成树 $T$ 是一条路径。若能求出最优解 $T^{\ast }$，相当于判定了图中是否存在哈密顿回路，因而哈密顿回路只是该问题的一个子集。

• ${\text{deg}}_T(u)$ 表示 $T$ 中 $u$ 的度数。

• improving flip 对于 $T$ 中的结点 $v$，存在 $(u,w)\in E(G)/E(T)$，$v$ 在 $T$ 中 $u$ 到 $w$ 的路径上且 degT(v)>max⁡{degT(u),degT(w)}+1\text{deg}_T(v) > \max\{\text{deg}_T(u),\text{deg}_T(w)\} + 1degT​(v)>max{degT​(u),degT​(w)}+1，删去在 $T$ 中 $u$ 到 $w$ 路径上且与 $v$ 相邻的边，增加边 $(u,w)$，得到新的生成树 $T^{\prime }$。

• 取 $l=\lceil {\log }_{2}n\rceil$

MinDegSpanningTreeLocalSearch($G$)

$T$ <- any spanning tree of $G$
while $\exists$ improving flip in $T$ for a vertex $v$ with ${\text{deg}}_T(v)\ge \Delta (T)-l$ do

do the improving flip

• 可以证明，算法可在 $\mathcal{O}(n^4)$ 次迭代后结束。
• 对于 $G$ 的任意一棵生成树 $T$，删去 $T$ 中 $k$ 条边将 $T$ 分为 $k+1$ 个连通块，设 $E^{\prime }$ 为 $E(G)$ 中连接不同连通块的所有边，取 $S$ 是 $E^{\prime }$ 的点覆盖。
• Lemma 1. $\text{OPT}\ge \frac{k}{|S|}$。

证明 $|S|\text{OPT}=|S|\Delta (T^{\ast })\ge {\sum }_{v\in S}{\text{deg}}_{T^{\ast }}(v)\ge |E(T^{\ast })\cap E^{\prime }|$

因为 $T^{\ast }$ 是生成树，不考虑这 $k+1$ 个连通块内部连边的情况，至少要用 $k$ 条边让这 $k+1$ 个连通块连通，故 $|E(T^{\ast })\cap E^{\prime }|\ge k$，移项后即有 $\text{OPT}\ge \frac{k}{|S|}$。

• 对于 $G$ 通过上述算法得到的一棵生成树 $T$，$\forall 1\le i\le \Delta (T)$，令 Si={v∣v∈V(G)∧degT(v)≥i}S_i = \{v | v\in V(G)\wedge \text{deg}_T(v) \ge i\}Si​={v∣v∈V(G)∧degT​(v)≥i}，$E_i=\{(u,v)|(u,v)\in T\wedge (u\in S_i\vee v\in S_i)\}$，
• Lemma 2. 若 $\Delta (T)\ge l$，$\exists i\ge \Delta (T)-l+1,|S_{i-1}|\le 2|S_i|$

证明 反证法，假设不存在，则有 $|S_{\Delta (T)-l}|>2^l|S_{\Delta (T)}|=2^{\lceil {\log }_{2}n\rceil }|S_{\Delta (T)}|\ge n$，矛盾。

• Lemma 3. 若 $\Delta (T)\ge l$，$\forall i\ge \Delta (T)-l+1$
  1. $|E_i|\ge (i-1)|S_i|+1$
  2. 对于每条连接 $T/E_i$ 不同连通块且满足 $e\in E(G)/E_i$ 的边 $e$ 至少有一个顶点属于 $S_{i-1}$。

证明 1. $|E_i|\ge i|S_i|-(|S_i|-1)=(i-1)|S_i|+1$（最坏情况下 $S_i$ 中的点形成一棵树，因此要扣掉重复的边）

2. 显然满足该条件的边 $e$ 两个顶点在 $T$ 中的度数均小于 $i$，若两者的度数均小于 $i-1$。由于边 $e$ 连接的两个连通块之间一定存在一条属于 $E_i$ 的边，则可以进行一次 improving flip，与 $T$ 的定义不同。

• Theorem. $\Delta (T)\le 2\text{OPT}+l$

证明

1. 若 $\Delta (T)<l$，显然该结论成立。

2. 若 $\Delta (T)\ge l$，取 **Lemma 2. *** 中的 $i$，删去 $T$ 中的边集 $E_i$ 得到 $|E_i|+1$ 个连通块，由 **Lemma 3. (2) ** $S_{i-1}$ 一定是 $E(G)/E_i$ 的点覆盖，结合 Lemma 1.、Lemma 2.、Lemma 3 有

$$\text{OPT}\ge \frac{k}{|S|}=\frac{|E_i|}{|S_{i-1}|}\ge \frac{(i-1)|S_i|+1}{|S_{i-1}|}\ge \frac{(i-1)|S_i|+1}{2|S_i|}>\frac{i-1}{2}\ge \frac{\Delta (T)-l}{2}$$

• 若取 $l=\lceil {\log }_{b}n\rceil$， 用与 Lemma 2. 相同的方法证明若 $\Delta (T)\ge l$，$\exists i\ge \Delta (T)-l+1,|S_{i-1}|\le b|S_i|$，最终能够得出 $\Delta (T)\le b\text{OPT}+l$ 的结论。

Local Search

Given an instance $I$ of a problem，$S(I)$ the set of feasible solutions

For a Solution $S$，the neighborhood of $S$（邻域）is the set of all solutions $S^{\prime }$ such that $S^{\prime }$ can be obtained from $S$ via some local moves.

minimization $\text{val}(S^{\prime })<\text{val}(S)$

maximization $\text{val}(S^{\prime })>\text{val}(S)$

1. Find a good(comparatively, no constraints) initial solution $S_0\in S(I)$

2. $S\leftarrow S_0$

3. repeat

   if $\exists S^{\prime }\in N(S)$ such that $\text{val}(S^{\prime })$ is better than $\text{val}(S)$

   $S\leftarrow S^{\prime }$;

   else

   $S$ is a local optimal;
   return $S$;

until true;

The upper bound for iterations is $|\text{OPT}-\text{val}(S_0)|$.

Objective

1. find $S^{\prime }$ polynomial time?
2. repeat polynomial time?

Max Cut

Given an undirected graph $V=(G,E)$，the goal is to partition $V$ into $(S,V/S)$ so as to maximize the number of edges crossing $S$ (outgoing edges, $\sigma (S)$)

weighted version：each edge has non-negative weight, the goal is to maximize the weights of edges crossing $S$.

LScut:

1. $S=\varnothing$

2. repeat

   if $\exists v\in V/S$ such that $w(\sigma (S+v))>w(\sigma (S))$

   $S\leftarrow S+v$;

   else if $\exists v\in S$ such that $w(\sigma (S-v))>w(\sigma (S))$

   $S\leftarrow S-v$;

   else

   $S$ is a local optimal;
   return $S$;

until true

• Lemma 1. $S$ is the output

  $\exists v,w(\sigma (S)\cap \sigma (v))\ge \frac{w(\sigma (v))}{2}$

• Lemma 2. $w(\sigma (S))\ge \frac{w(E)}{2}\ge \frac{\text{OPT}}{2}$

Proof. According to Handshaking theorem，$\sum _{v\in V}w(\sigma (v))=2w(E)$

$w(\sigma (S))=\frac{1}{2}\sum _{v\in V}w(\sigma (S)\cap \sigma (v))\ge \frac{1}{2}\sum _{v\in V}\frac{w(\sigma (v))}{2}=\frac{1}{2}w(E)\ge \frac{\text{OPT}}{2}$

For unweighted graph, it runs for at most $|E|$ times.

But running time may take exponential time when weights are large.

objective

1. the running time is strongly polynomial
2. the quality of solution is almost optimal

$n=|V|$

Modified LScut($\epsilon$)

1. S←{v∗},v∗=arg⁡max⁡v∈V{w(σ(v))}S \leftarrow \{v^{*}\}, v^* = \arg \max \limits_{v \in V}\{w(\sigma(v))\}S←{v∗},v∗=argv∈Vmax​{w(σ(v))}

2. repeat

   if $\exists v\in V/S$ such that $w(\sigma (S+v))>\left(1+\frac{\epsilon }{n}\right)w(\sigma (S))$ then $S\leftarrow S+v$；
   >
   else if $\exists v\in S$ such that $w(\sigma (S-v))>\left(1+\frac{\epsilon }{n}\right)w(\sigma (S))$ then $S\leftarrow S-v$；
   >
   else return $S$；

Lemma 1. $S$ is the output, $w(\sigma (S))\ge \frac{1}{2\left(1+\frac{\epsilon }{4}\right)}w(E)$

Proof. Assuming ${\alpha }_v=w(\sigma (S)\cap \sigma (v)),{\beta }_v=w(\sigma (v))-{\alpha }_v$
$$\begin{array}{rl}\forall v,w(\sigma (S))-w(\sigma (S)\cap \sigma (v))+w(\sigma (v))-w(\sigma (S)\cap \sigma (v))& \le \left(1+\frac{\epsilon }{n}\right)w(\sigma (S))\\ \iff \forall v,{\beta }_v-{\alpha }_v& \le \frac{\epsilon }{n}w(\sigma (S))\\ w(\sigma (S))& =\frac{1}{2}\sum _{v\in V}{\alpha }_v\\ & =\frac{1}{2}\sum _{v\in V}\frac{[({\beta }_v+{\alpha }_v)-({\beta }_v-{\alpha }_v)]}{2}\\ & \ge \frac{1}{4}\sum _{v\in V}[w(\sigma (v))-\frac{\epsilon }{n}w(\sigma (S))]\\ & =\frac{1}{2}w(E)-\frac{\epsilon }{4}w(\sigma (S))\\ \iff w(\sigma (S))& \ge \frac{1}{2\left(1+\frac{\epsilon }{4}\right)}w(E)\end{array}$$

Lemma 2. The time complexity of Modified LScut is $\mathcal{O}\left(\frac{1}{\epsilon }n\log n\right)$

**Proof. ** According to Pigeonhole principle and Handshaking theorem，
$$\begin{array}{r}\sum _{v\in V}w(\sigma (v))=2w(E)\Rightarrow w(S_0)=w(\sigma (v^{\ast }))\ge \frac{2}{n}w(E)\end{array}$$
Assuming the number of iterations is $k$,
$$\begin{array}{rl}(1+\frac{\epsilon }{n}{)}^{k}w(\sigma (S_0))& \le w(\sigma (S))\\ (1+\frac{\epsilon }{n}{)}^k\frac{2}{n}w(E)& \le w(E)\\ {\left(1+\frac{\epsilon }{n}\right)}^k& \le \frac{n}{2}\end{array}$$
According to $\underset{n\to \infty }{\lim }{\left(1+\frac{\epsilon }{n}\right)}^{\frac{n}{\epsilon }}=e$，$e^{\frac{\epsilon }{n}k}\le \frac{n}{2}\Rightarrow k=\mathcal{O}\left(\frac{n\log n}{\epsilon }\right)$

Center Based Clustering

Euclidean Space

• $d(x,y)=\parallel x-y\parallel$

metric space

• 设 $V$ 为点集，存在一个映射一个映射 $d:V\times V\to R$，$\forall u,v,w\in V$

  1. $d(u,v)=d(v,u)$
  2. $d(u,v)\ge 0$ 且 $d(u,v)=0\iff u=v$
  3. $d(u,w)\le d(u,v)+d(v,w)$

• 若 $A,B\subseteq V,p\in V$，

  • $d(A,B)=\underset{p\in A,q\in B}{\min }d(p,q)$
  • $d(p,A)=\underset{q\in A}{\min }d(p,q)$

Given $n$ points P={p1,…,pn}P = \{p_1, \dots, p_n\}P={p1​,…,pn​} in metric space $(V,d)$, an integer $k$, the goal is to partition $P$ into $k$ clusters $C_1,\dots ,C_k$ obtained by choosing $c_1^{\ast },\dots ,c_k^{\ast }$.

Rule: each point $p_i$ is assigned to its nearest center from $c_1^{\ast },\dots ,c_k^{\ast }$

Quality: choose $c_1^{\ast },\dots ,c_k^{\ast }$ to minimize ∑i=1nd(pi,{c1∗,…,ck∗})q\sum \limits_{i = 1}^{n}d(p_i,\{c_1^*,\dots,c^*_k\})^qi=1∑n​d(pi​,{c1∗​,…,ck∗​})q, $q$ is a constant.

• k-center q=∞⇒min⁡c1∗,…,ck∗∈Vmax⁡i=1nd(pi,{c1∗,…,ck∗})q = \infty \Rightarrow \min\limits_{c_1^*,\dots,c^*_k\in V} \max\limits_{i = 1}^{n}d(p_i,\{c_1^*,\dots,c_k^*\})q=∞⇒c1∗​,…,ck∗​∈Vmin​i=1maxn​d(pi​,{c1∗​,…,ck∗​})
• k-median（均值） q=1⇒min⁡c1∗,…,ck∗∑i=1nd(pi,{c1∗,…,ck∗})q = 1 \Rightarrow \min\limits_{c_1^*, \dots, c_k^*}\sum\limits_{i = 1}^{n}d(p_i,\{c_1^*,\dots, c_k^*\})q=1⇒c1∗​,…,ck∗​min​i=1∑n​d(pi​,{c1∗​,…,ck∗​})
• k-means q=2⇒min⁡c1∗,…,ck∗∑i=1nd(pi,{c1∗,…,ck∗})2q = 2 \Rightarrow \min\limits_{c_1^*, \dots, c_k^*}\sum\limits_{i = 1}^{n}d(p_i,\{c_1^*,\dots, c_k^*\})^2q=2⇒c1∗​,…,ck∗​min​i=1∑n​d(pi​,{c1∗​,…,ck∗​})2

K-center

Gonzalez-k-center ($P$, $k$)

1. choose $c_1$ arbitrary.

2. C←{c1}C \leftarrow \{c_1\}C←{c1​}.

3. for i = 2 to $k$ do

   $c_i=\arg \underset{c\in P}{\max }d(c,C)$
   C←C∪{ci}C \leftarrow C \cup\{c_i\}C←C∪{ci​}

4. output $C$

Lemma 1. suppose $k+1$ points $q_1,\dots ,q_{k+1}\in P$ such that $d(q_i,q_j)>2R,i\ne j\Rightarrow \text{OPT}>R$

Proof. suppose $\text{OPT}\le R$

∃C={c1,…,ck}⇒C1,…,Ck\exists C = \{c_1, \dots, c_k\} \Rightarrow C_1, \dots, C_k∃C={c1​,…,ck​}⇒C1​,…,Ck​

$\forall C_h,p\in C_h,d(p,c_h)\le R$

According to Pigeonhole principle, $\exists q_i,q_j\in C_h,d(q_i,q_j)\le d(q_i,c_h)+d(q_j,c_h)\le 2R$ contradiction.

Theorem 1. $C$ is returned. $R=\underset{p\in P}{\max }d(p,C)$，$R\le 2R^{\ast }$，$R^{\ast }$ means the optimal solution.

Proof. suppose $R>2R^{\ast }\Rightarrow$（每次取出 $c_i$ 时 $d(c_i,C)$ 是递减的）

∃p∈P,d(p,C)>2R∗⇒∀2≤i≤k,d(ci,{c1,…,ci−1})>2R∗\exist p \in P, d(p, C) > 2R^* \Rightarrow \forall 2 \le i \le k, d(c_i, \{c_1, \dots, c_{i - 1}\}) > 2R^*∃p∈P,d(p,C)>2R∗⇒∀2≤i≤k,d(ci​,{c1​,…,ci−1​})>2R∗

{p,c1,…,ck}\{p, c_1, \dots, c_k\}{p,c1​,…,ck​} satifies the condition of **Lemma 1. **, so $\text{OPT}>R^{\ast }$，contradition.

Define ∀v,radiusr,B(v,r)={u∣d(u,v)≤r}\forall v, \text{radius}\hspace{0.5em} r, B(v,r) = \{u|d(u, v) \le r\}∀v,radiusr,B(v,r)={u∣d(u,v)≤r}

HS-k-center ($P$, $k$)

1. Guess $R^{\ast }$ the optimal radius (binary search, the bound is $[\underset{p_i,p_j\in P,p_i\ne p_j}{\min }d(p_i,p_j),\underset{p_i,p_j\in P}{\max }d(p_i,p_j)]$).

2. $C\leftarrow \varnothing ,S\leftarrow P$

3. while $C\ne \varnothing$ do

   let $c$ be an arbitrary point in $S$

   C←C∪{c}C \leftarrow C \cup \{c\}C←C∪{c}

   $S\leftarrow S/B(c,2R^{\ast })$

4. output $C$

Lemma 2. For a guess $R$, return $C$, $\forall p\in P,d(p,C)\le 2R$，if $R\ge R^{\ast }$，$|C|\le k$

Proof. Assume $c_1,c_2,\dots ,c_h$ are centers chosen, d(ci,{c1,…,ci−1})>2Rd(c_i, \{c_1, \dots, c_{i - 1}\}) > 2Rd(ci​,{c1​,…,ci−1​})>2R，if $h\ge k+1$, according to **Lemma 1. **, $R^{\ast }>R$，contradiction. So $h\le k$.

所以通过二分法找到的解一定满足 $\text{ALG}=2R\le 2R^{\ast }$，即 $\alpha =2$。

K-median

LP form：
$$\begin{array}{rlr}\text{minimize}\sum _{j\in D}\sum _{i\in F}{x}_{ij}& d(i,j)& \\ \text{subject to}\sum _{i\in F}{x}_{ij}& =1& j\in D\\ x_{ij}& \le y_i& i\in F,j\in D\\ \sum _{i\in F}{y}_i& \le k& \\ y_i,x_{ij}& \ge 0& i\in F,j\in D\end{array}$$

随机选 $k$ 个点，每次给定一个参数 $P$，随机选 $P$ 个点换入再选 $P$ 个点换出，每次选取获得代价最小的方案，直到无法继续迭代下去。

Theorem. $P$-swap local search has ratio of $\left(3+\frac{2}{p}\right)$.

K-means

Euclidean $K$-means 参见 Machine Learning

Lloyds-k-means($X$, $k$)

1. pick $k$ centers $c_1,\dots ,c_k$

2. repeat

   (1) find C1,…,Ck,Ci={x∣x∈X,ciis closest to x}C_1, \dots, C_k, C_i = \{x| x\in X,c_i\text{is closest to } x\}C1​,…,Ck​,Ci​={x∣x∈X,ci​is closest to x}

   (2) $\text{cost}=\sum _{i=1}^k\sum _{x\in C_i}d(x,c_i{)}^2$

   (3) for $i$ = 1 to $k$ do $c_i=\frac{1}{|C_i|}\sum _{x\in C_i}x$

   until cost improvement is small;

3. output $C_1,\dots ,C_k$.

初始化 $c_i$ 为离集合 {c1,…,ci−1}\{c_1,\dots,c_{i - 1}\}{c1​,…,ci−1​} 最远的点。

$D^2$-sampling-k-means++($X$, $k$)

1. S={c1}S = \{c_1\}S={c1​}, $c_1$ is randomly chosen;

2. for $i$ = 2 to $k$ do

   (1) choose $c_i$ randomly with $p(c_i=x)\approx \frac{d(x,S{)}^2}{{\sum }_{u}d(u,S{)}^2}$

   (2) S←S∪{ci}S \leftarrow S \cup \{c_i\}S←S∪{ci​}

3. output $S$.