【图神经网络：原理与实战】4 训练技巧与大图方法 第一节 采样方法与训练批次框架

目录

4 训练技巧与大图方法

4.1 采样方法与批训练框架

4.1.1 邻居采样：随机采样、重要性采样

纯随机（均匀）采样与无偏估计

重要性采样与方差最小化

方差对多层采样的传播（递推界）

4.1.2 子图采样与层次化采样策略

子图采样的概率模型与无偏估计

分层（层次化）采样（two-stage / multi-stage sampling）

子图采样的优势与代价

4.1.3 采样偏差校正与无偏估计

Horvitz–Thompson（HT）估计的精确性

归一化重要性权重（self-normalized IS）与偏差

控制变量（control variate）与方差缩减

4.1.4 Mini-batch 设计与内存局部性优化

成本模型：计算与内存访问次数

批内局部性（locality）原则与图划分

Mini-batch 大小与吞吐的理论权衡

排序、布局与预取策略

本节小结（教材式要点回顾）

4.2 大图训练技术

4.2.1 图分割与分区策略

形式化目标

谱划分（Normalized cut）松弛推导

NP-hardness（问题的难度）

实践划分策略（edge-cut 与 vertex-cut）

多级（multilevel）方法与复杂度

4.2.2 图存储格式与高效 I/O 设计

基本格式与内存成本

I/O 与缓存模型

Cache-aware / cache-oblivious 布局与 reordering

分区存储与分布式 I/O

4.2.3 外存 / 流式训练与增量更新

外存训练的基本策略

Reservoir sampling 的无偏性（流中均匀抽样）

增量 / 在线更新与局部化证明

外存训练的复杂度与 I/O 成本模型（回顾）

4.2.4 异步更新与一致性控制

统一记号与问题设定

异步 SGD 的收敛性（渐近与有界延迟）

异步迭代与收缩映射（GNN 的并行化更新）

一致性控制策略

本节小结（教材要点）

4.3 推理、部署与工程实践

4.3.1 在线推理架构与缓存机制

一、架构要素与形式化模型

二、缓存命中率建模：独立参考模型与 Che 的近似

三、缓存分层与一致性策略

4.3.2 模型压缩：剪枝、量化、蒸馏方法

一、剪枝（Pruning）：二阶近似与重要度衡量

二、量化（Quantization）：误差模型与无偏化技巧

三、蒸馏（Distillation）：知识转移的概率解释

4.3.3 延迟与吞吐量的工程权衡

一、基本排队论模型与延迟—吞吐关系

二、多服务器与尾延迟（tail latency）

三、系统设计准则（从数学到工程）

4.3.4 安全性、隐私与模型生命周期管理

一、安全性威胁与防护要点

二、差分隐私（DP）与机理证明

三、模型生命周期管理（ML Lifecycle）

小结（教材式要点回顾）

---