信道编码的一些bound

1. 码字距离公式：对于两个二元域上的码字$\mathbf{x}$和$\mathbf{y}$,他们的重量记为$w(\mathbf{x})$和$w(\mathbf{y})$，内积记为$<\mathbf{x},\mathbf{y}>$，则他们之间的距离为
$$d(\mathbf{x},\mathbf{y})=w(\mathbf{x})+w(\mathbf{y})-<\mathbf{x},\mathbf{y}>.$$$■$

2. Equivalent codes的定义。对于两个码字$C1$和$C2$，如果对于$C1$中的任意码字$c_1{c}_2\cdots c_n$，均存在一个$C2$中的码字，其可以表示为${\pi }_1(c_{\sigma (1)}){\pi }_2(c_{\sigma (2)})\cdots {\pi }_n(c_{\sigma (n)})$，其中$\sigma (i)$是对index $i$的一种permutation，而${\pi }_i$则是一种对字母表 { 0 , 1 , ⋯   , q − 1 } \{0,1,\cdots,q-1\} {0,1,⋯,q−1}的一种permutation。满足上述条件的$C1$和$C2$称为equivalent codes。$■$

3. $A_q(n,d)$表示给定有限域大小$q$，码长$n$以及最小距离$d$，满足这三个参数的码的最大尺寸，即码字个数的最大值。$■$

4. 举例：$A_2(5,3)=4$, $A_2(8,5)=4$.$■$

5. 奇数$d$。对于奇数$d$，有
$$A_2(n,d)=A_2(n+1,d+1).$$
证明：
考虑一个$(n+1,d+1)$的码，并且$M=A_2(n+1,d+1)$（因为A_2(n+1,d+1)是一个可达上界，所以我们总是能找到一个这样的码）。将这个码的所有码字的第$i_0$位删去，得到一个新的$(n,d)$码。这个码的最小距离大于等于$d$是因为原码最小距离等于$d+1$，并且只删去了一位。而新得到的$(n,d)$码的大小为$M=A_2(n+1,d+1)$。因此，我们有
$$A_2(n,d)\ge A_2(n+1,d+1).$$另一方面，我们考虑一个$(n,d)$的码，并且$M=A_2(n,d)$。因为$d$是奇数，所有我们可以通过奇偶校验进行位的扩展。如果原来的两个码字之间的距离正好是最小距离$d$，则奇偶扩展后的码字最小距离变为$d+1$。可见，扩展后的码字是一个$(n+1,d+1)$的码字，其大小为$M=A_2(n,d)$。于是我们有
$$A_2(n+1,d+1)\ge A_2(n,d).$$

综合以上两个不等式，有
$$A_2(n,d)=A_2(n+1,d+1).$$
$■$

6. $n$递减。
$$A_2(n,d)\le 2A_2(n-1,d).$$
证明：
考虑一个$(n,d)$码，并且满足$M=A_2(n,d)$。将这个码的所有码字分为两类，第一类的第一位为0，第二类的第1位为1，则这两类码分别拥有最小距离$d$。显然，这两类码中数目最大的那一个的数目大于等于$M/2$，于是，我们将这两类码的第一位删去，可以得到
$$\begin{gathered} A_2(n-1,d)\ge M/2=A_2(n,d)/2, \\ {A}_2(n,d)\le 2A_2(n-1,d). \end{gathered}$$
$■$

7. 最小距离为2的特例。
$$A_2(n,2)=2^{n-1}.$$
证明：
利用5.可以得到$A_2(n-1,1)=A_2(n,2)=2^{n-1}$.
$■$

8. 球的定义。对于一个码字$\mathbf{x}$，考虑一个半径$\rho$，则以该码字为中心的球包括了所有与该码字距离小于等于$\rho$的向量，该球的体积记为球内所有向量（包括$\mathbf{x}$）的集合。
B ρ ( x ) = { y ∈ Q n : d ( x , y ) ≤ ρ } . B_{\rho}(\bm{x})=\{\bm{y}\in Q^{n}:d(\bm{x},\bm{y})\leq \rho\}. Bρ​(x)={y∈Qn:d(x,y)≤ρ}.显然该集合的大小，也是球中向量的个数为
$$|B_{\rho }(\mathbf{x})|=\sum _{i=0}^{\rho }{C}_n^i(q-1{)}^i.$$
$■$

9. Packing radius. 考虑一种情况，我们需要将以码字为中心的所有球的半径尽可能地大，但又不希望他们相交，因为相交了会影响译码（交叉区域内的码字不确定译码到那一个球的中心码字上）。在这个情况下，我们定义一个最大整数半径packing radius，当所有以码字为中心的球的半径取packing radius时，没有任何球是相交的。

显然，根据码字最小距离的定义，我们有packing radius $\rho$等于
$$\rho =\lfloor \frac{d-1}{2}\rfloor .$$这很好理解，当$d=2t+1$时，有$\rho =t$;当$d=2t+2$时，有$\rho =t$，保证了两球不会相交。
$■$

10. Covering radius.
仅有packing radius是不够的，因为如果以码字为中心的球不能包含住整个码字空间的向量，则当信道传来某个未被球包含的向量时，我们的信道编码就不知道如何译码了。即，我们的信道编码需要对付所有可能传来的向量，即整个码字空间$Q^n$的向量。这意味着我们需要某个最小整数covering radius $\rho$，使得所有以码字为中心的半径为$\rho$球包含住整个码字空间，记为
$$Q^n\subset {\cup }_{\mathbf{x}\in C}{B}_{\rho }(\mathbf{x}).$$
$\rho$通过嵌套的max和min函数求得
ρ = m a x { m i n { d ( x , y ) : y ∈ C } : x ∈ Q n } . \rho=max\{min\{d(\bm{x},\bm{y}):\bm{y}\in C\}:\bm{x}\in Q^n\}. ρ=max{min{d(x,y):y∈C}:x∈Qn}.
证明：
反证，假设某个向量$\mathbf{s}\in Q^n$，但是这个向量没有在${\cup }_{\mathbf{x}\in C}{B}_{\rho }(\mathbf{x})$中。这意味着$\mathbf{s}$到$C$中所有码字的距离均大于$\rho$。这意味着 m i n { d ( s , y ) : y ∈ C } > ρ min\{d(\bm{s},\bm{y}):\bm{y}\in C\}>\rho min{d(s,y):y∈C}>ρ。但是，我们求$\rho$时的式子保证了 ρ ≥ m i n { d ( s , y ) : y ∈ C } \rho\geq min\{d(\bm{s},\bm{y}):\bm{y}\in C\} ρ≥min{d(s,y):y∈C}，于是推出$\rho >\rho$，矛盾。
$■$

11. Perfect code。当一个码的packing radius等于covering radius的时候， 我们称改码为perfect code。常见的实用的perfect code很少，目前来说只有Hamming码和两个Golay码。

因为perfect code很少，人们退而求其次，定义了quasi-perfect code。

满足packing radius+1=covering radius的码称为quasi-perfect码。
$■$

12. Hamming bound
Hamming bound是基于球的bound，当达到Hamming bound的时候，该码是一个perfect code。
$$A_q(n,d)\sum _{i=0}^e{C}_n^i(q-1{)}^i\le q^n,$$其中$e=\lfloor \frac{d-1}{2}\rfloor$。显然，Hamming bound就是packing radius的一个直观解释。
$■$

13. Singleton bound
Singleton bound是基于码字阵列删除位得到的一个bound，满足Singleton bound的码称为MDS（最小距离可分）码。
$$M\le q^{n-d+1}.$$另一种形式
$$d\le n-\lceil {\log }_{q}M\rceil +1=n-k+1.$$第二种形式说明了给定一个$n$和$k$，可以构造的最小距离的最大值。当等式取到的时候，就是MDS码，因此对于MDS码均有$d=n-k+1$。
证明：
考虑一个$(n,d)$的码，将其所有码字的第$i_0$位删去，得到一个新的$(n-1,d-1)$的码。重复这样的删除操作直到得到一个$(n-d+1,1)$的码，而这个码的码字个数是$M$。对于长度为$n-d+1$的码，其码字上界为$M\le q^{n-d+1}$，得证。
$■$

14. Gilbert bound
类似于Hamming bound，也是关注球的radius，Hamming bound关注packing radius，而Gilbert bound关注covering radius。
$$A_q(n,d)\sum _{i=0}^{d-1}{C}_n^i(q-1{)}^i\ge q^n.$$
证明：
反证，假设$Q^n$中存在某个向量$\mathbf{s}$没有被以码字为中心的半径为$d-1$的球包含，那么说明这个向量与这个码的所有码字之间的距离大于等于$d$。又因为$A_q(n,d)$是最小距离为$d$的所有码字的最大数目，因此$\mathbf{s}$必然也被考虑在码字中，于是假设矛盾。
$■$

15. Plotkin bound
$$A_q(n,d)\le \frac{d}{d-\frac{q-1}{q}n}.$$
证明：
考虑${\sum }_{\mathbf{x}\ne \mathbf{y},\mathbf{x},\mathbf{y}\in C}d(\mathbf{x},\mathbf{y})\ge M(M-1)d$. 考虑$C$的所有码字的第$i$位，其取值在 { 0 , 1 , ⋯   , q − 1 } \{0,1,\cdots,q-1\} {0,1,⋯,q−1}之间，于是在前面的距离求和中，第$i$位贡献的1的个数为
$$\sum _{j=0}^{q-1}{k}_{i,j}(M-k_{i,j}),$$其中$k_{i,j}$表示的是第$i$位是符号$j$的码字个数。进一步整理，有
$$\sum _{j=0}^{q-1}{k}_{i,j}(M-k_{i,j})\le M^2-\sum _{j=0}^{q-1}{k}_{i,j}^2.$$根据詹森不等式，有
$$\sum _{j=0}^{q-1}{k}_{i,j}^2\ge \frac{({\sum }_{j=0}^{q-1}{k}_{i,j}{)}^2}{q}=\frac{M^2}{q}.$$于是上式进一步变为
$$\sum _{j=0}^{q-1}{k}_{i,j}(M-k_{i,j})\le \frac{q-1}{q}{M}^2.$$

至此，我们有
$$M(M-1)d\le \sum _{\mathbf{x}\ne \mathbf{y},\mathbf{x},\mathbf{y}\in C}d(\mathbf{x},\mathbf{y})=n\sum _{j=0}^{q-1}{k}_{i,j}(M-k_{i,j})\le \frac{q-1}{q}{M}^{2}n.$$整理得到
$$M\le \frac{d}{d-\frac{q-1}{q}n}.$$

当Plotkin bound取等号时有${\sum }_{\mathbf{x}\ne \mathbf{y},\mathbf{x},\mathbf{y}\in C}d(\mathbf{x},\mathbf{y})\ge M(M-1)d$取等号，这意味着达到Plotkin bound的码的任意两个码字之间的距离相等。
$■$

16. 线性码的校验矩阵中任意$d-1$列无关且存在$d$列相关。
证明：
存在$d$列相关很好证明，因为存在一个重量为$d$的码字，我们记它的非0位的index为 { i 0 , i 1 , ⋯   , i d − 1 } \{i_0,i_1,\cdots,i_{d-1}\} {i0​,i1​,⋯,id−1​}。这个码字与校验矩阵相乘，相当于将校验矩阵的第$i_0,i_1,\cdots ,i_{d-1}$列进行线性组合，等于0。因此这$d$列相关。

任意$d-1$列无关也是相同的思路，如果存在有小于$d$列相关，则存在某个码字的重量小于$d$，这和最小距离为$d$相矛盾。

这里需要主要的是根据Singleton bound有$d\le n-k+1$，于是$d-1\le n-k$，这意味着我们选出的矩阵列数小于行数。下面关于生成矩阵的讨论有选出的矩阵行数小于列数。
$■$

17. 线性码的生成矩阵中任意$n-d+1$列的rank为$k$，存在$n-d$列的rank小于$k$。
证明：
假设我们取到某$n-d+1$列，其rank小于$k$，这意味着我们对这个选取的矩阵进行某种线性变化，可以得到一个全0的长度为$n-d+1$的行。记这些列为 { i 0 , i 1 , ⋯   , i n − d } \{i_0,i_1,\cdots,i_{n-d}\} {i0​,i1​,⋯,in−d​}。进一步，对整个生成矩阵进行同样的线性变化，可以得到一个位 { i 0 , i 1 , ⋯   , i n − d } \{i_0,i_1,\cdots,i_{n-d}\} {i0​,i1​,⋯,in−d​}为0的码字，那么显然，这个码字的重量是小于等于$n-(n-d+1)=d-1$的，这和最小距离为$d$相违背。

另一方面，我们总是能找到一个重量为$d$的码字，记他的零位的index为 { i 0 , i 1 , ⋯   , i n − d − 1 } \{i_0,i_1,\cdots,i_{n-d-1}\} {i0​,i1​,⋯,in−d−1​}，一共$n-d$个0.我们取生成矩阵的 { i 0 , i 1 , ⋯   , i n − d − 1 } \{i_0,i_1,\cdots,i_{n-d-1}\} {i0​,i1​,⋯,in−d−1​}列，则我们总是可以通过某个线性变换使得某一行为全0，这意味着这个矩阵的rank小于$k$。
$■$

18. MDS码的生成矩阵以及校验矩阵的列子矩阵的rank。
MDS码有$d=n-k+1$，带入16.和17.，可知：
其校验矩阵的任意$n-k$列子矩阵是可逆的（rank为n-k）。
其生成矩阵的任意$k$列子矩阵是可逆的（rank为k）。
$■$

参考文献

[1] [Roman S . Coding and information theory，1992。]