78、仿真模型验证、实验设计与数据分析全解析

仿真模型验证、实验设计与数据分析全解析

1. 仿真模型验证数据收集

在进行仿真模型验证时，数据收集至关重要。具体操作如下：
- 记录与实际系统相同类型的输出数据，确保数据的一致性和可比性。
- 以与实际系统相同的方式加载仿真模型，保证模型运行环境的一致性。
- 丢弃与系统初始实体数量相同的模型数据，避免初始数据对验证结果的干扰。

2. 验证数据分析流程

验证数据分析流程包含多个步骤，具体如下：
1. 确定合适的均值统计比较测试 ：根据数据特点和研究目的，选择合适的统计测试方法。
2. 检查系统和模型数据集的正态性 ：通过特定的测试方法判断数据是否符合正态分布。
3. 若均为正态分布，检查数据集是否具有相等的方差 ：使用F检验等方法进行判断。
4. 方差相等时进行正态t检验 ：通过t检验判断系统和模型数据集的均值是否相等。
5. 方差不相等时进行Smith–Satterthwaite检验 ：该检验适用于方差不相等的情况。
6. 若任一数据集或两者均非正态分布，进行非参数秩和检验 ：秩和检验不依赖于数据的正态分布。
7. 若无差异，则模型有效，可继续研究 ；若存在差异，则模型或输入数据可能存在问题，无法继续研究。

以下是该流程的mermaid流程图：

graph TD;
    A[确定合适的均值统计比较测试] --> B[检查数据正态性];
    B -- 均为正态 --> C[检查方差是否相等];
    C -- 相等 --> D[进行正态t检验];
    C -- 不相等 --> E[进行Smith–Satterthwaite检验];
    B -- 非正态 --> F[进行非参数秩和检验];
    D --> G{是否有差异};
    E --> G;
    F --> G;
    G -- 无差异 --> H[模型有效，继续研究];
    G -- 有差异 --> I[模型或输入数据有问题，无法继续];

3. 验证数据正态性检查

对验证数据进行正态性检查，可采用等概率卡方检验。具体步骤如下：
- 提出原假设$H_0$：数据与样本具有相同的均值和标准差，呈正态分布。
- 提出备择假设$H_a$：数据与样本不具有相同的均值和标准差，不呈正态分布。
- 设定显著性水平$\alpha = 0.05$。
- 计算卡方分布的临界值。
- 计算检验统计量。
- 若检验统计量小于临界值，则不能拒绝$H_0$，数据呈正态分布；若检验统计量大于临界值，则拒绝$H_0$，数据不呈正态分布。

4. 正态数据的等方差检查

对于正态数据，可进行F检验来检查等方差性。具体操作如下：
- 提出原假设$H_0$：数据与样本具有相同的均值和标准差，呈正态分布。
- 提出备择假设$H_a$：数据与样本不具有相同的均值和标准差，不呈正态分布。
- 设定显著性水平$\alpha = 0.05$。
- 计算临界F分布值。
- 以较大方差为分子计算检验统计量。
- 若检验统计量小于临界值，则不能拒绝$H_0$，方差相等；若检验统计量大于临界值，则拒绝$H_0$，方差不相等。

F检验方程为：$F = \frac{S_M^2}{S_m^2}$，其中$S_M^2$是具有较大方差的数据集的方差，$S_m^2$是具有较小方差的数据集的方差。

5. 独立t检验

当两个数据集均为正态分布且方差相等时，可进行独立t检验。具体步骤如下：
- 提出原假设$H_0$：系统和模型数据集的均值相等。
- 提出备择假设$H_a$：系统和模型数据集的均值不相等。
- 设定显著性水平$\alpha = 0.05$。
- 计算$n_1 + n_2 - 2$自由度的临界t分布值。
- 计算检验统计量。
- 若检验统计量在$\pm$临界值范围内，则不能拒绝$H_0$，均值相等；若检验统计量超出$\pm$临界值范围，则拒绝$H_0$，均值不相等。

t检验方程为：
$t = \frac{(x_1 - x_2) - 0}{\sqrt{\frac{(n_1 - 1)s_1^2 + (n_2 - 1)s_2^2}{n_1 + n_2 - 2}(\frac{1}{n_1} + \frac{1}{n_2})}}$
其中，$t$为计算得到的检验统计量，$x_1$为第一个替代方案的均值，$x_2$为第二个替代方案的均值，$s_1^2$为第一个替代方案的方差，$s_2^2$为第二个替代方案的方差，$n_1$为第一个替代方案的数据点数，$n_2$为第二个替代方案的数据点数。

6. Smith–Satterthwaite检验

当两个数据集均为正态分布但方差不相等时，采用Smith–Satterthwaite检验。具体步骤如下：
- 提出原假设$H_0$：系统和模型数据集的均值相等。
- 提出备择假设$H_a$：系统和模型数据集的均值不相等。
- 设定显著性水平$\alpha = 0.05$。
- 计算调整自由度后的临界t分布值。
- 计算检验统计量。
- 若检验统计量在$\pm$临界值范围内，则不能拒绝$H_0$，均值相等；若检验统计量超出$\pm$临界值范围，则拒绝$H_0$，均值不相等。

Smith–Satterthwaite自由度计算公式为：
$df = \frac{(\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2})^2}{\frac{(s_1^2 / n_1)^2}{n_1 - 1} + \frac{(s_2^2 / n_2)^2}{n_2 - 1}}$
其中，$df$为自由度，$s_1^2$为第一个替代方案的样本方差，$s_2^2$为第二个替代方案的样本方差，$n_1$为第一个替代方案的样本大小，$n_2$为第二个替代方案的样本大小。

Smith–Satterthwaite方程为：
$t = \frac{x_1 - x_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}}$
其中，$t$为Smith–Satterthwaite的t检验统计量，$x_1$为第一个替代方案的均值，$x_2$为第二个替代方案的均值，$s_1^2$为第一个替代方案的样本方差，$s_2^2$为第二个替代方案的样本方差，$n_1$为第一个替代方案的样本大小，$n_2$为第二个替代方案的样本大小。

7. 秩和检验

当一个或两个数据集非正态分布时，可使用秩和检验。该检验无需对方差进行F检验，而是比较两个数据集的秩。具体步骤如下：
- 提出原假设$H_0$：系统和模型数据集的均值相等。
- 提出备择假设$H_a$：系统和模型数据集的均值不相等。
- 设定显著性水平$\alpha = 0.05$。
- 计算临界Z分布值。
- 计算秩和检验统计量。
- 若检验统计量在$\pm$临界值范围内，则不能拒绝$H_0$，均值相等；若检验统计量超出$\pm$临界值范围，则拒绝$H_0$，均值不相等。

秩和检验的初步步骤如下：
1. 将系统数据集标识为集合1，模型数据集标识为集合2。
2. 对两个数据集按升序排序。
3. 将两个数据集合并为一个数据集。
4. 分别计算每个数据集的秩值之和，记为$w_1$和$w_2$。
5. 进行秩和检验计算。

秩和检验计算如下：
$U_1 = W_1 - \frac{n_1(n_1 + 1)}{2}$，$U_2 = W_2 - \frac{n_2(n_2 + 1)}{2}$
$U = min(U_1, U_2)$
$mean = \frac{n_1 * n_2}{2}$
$var = \frac{n_1 * n_2(n_1 + n_2 + 1)}{12}$
$z = \frac{U - mean}{\sqrt{var}}$

8. 模型统计无效的原因

模型可能在统计上无效，原因主要有以下几点：
- 系统非平稳 ：系统的特性随时间变化，导致模型无法准确反映系统的实际情况。
- 输入数据质量差 ：输入数据不准确、不完整或存在偏差，会影响模型的准确性。
- 假设无效 ：模型所基于的假设与实际情况不符，导致模型结果不可靠。
- 建模不佳 ：模型结构不合理、参数设置不当等，都会影响模型的有效性。

9. 实验设计

实验设计涵盖多种类型，不同类型适用于不同的研究场景。

9.1 因素和水平

• 因素 ：是被认为会对系统性能产生影响的不同变量。例如，工人执行特定功能、机器执行特定操作、机器容量、优先级排序策略、工人日程安排和库存水平等。
• 水平 ：是不同因素可能取值。例如，执行特定功能的四、五、六名工人；执行特定操作的新旧机器；5吨和2.5吨容量的卡车；先进先出和后进先出的优先级排序策略；五班8小时制和四班10小时制；补货订单水平在10%到25%之间等。

9.2 两种替代实验设计

• 最简单的实验设计 ：分为有基础系统和无基础系统两种情况。
  • 有基础系统时 ：第一个替代方案是基础模型，第二个替代方案可以是替代操作策略或替代资源策略。
  • 无基础系统时 ：两个替代方案均为提议模型，例如来自两个不同制造商的新流程设备、两种不同设计的服务设施布局。

9.3 单因素实验设计

对一个特定因素在三个或更多水平上进行研究，资源水平相同但操作策略不同。例如，三、四、五名职员的资源示例；三个单独的平行职员队列、一个单蛇形队列供两名职员使用和一个队列供一名职员使用、一个单蛇形队列供所有三名职员使用的操作策略示例。

9.4 双因素实验设计

研究两个因素，每个因素在多个不同水平上进行考察。替代方案的数量等于因素A的水平数乘以因素B的水平数。例如，三名和四名常规职员、三名和四名新手职员的平行队列资源示例；三名职员的常规平行队列、三名职员的单队列、两名职员的常规平行队列和一名职员的单快速队列、两名职员的单常规队列和一名职员的单快速队列的操作策略示例。

9.5 多因素实验设计

这种实验更为复杂，替代方案的数量可能会迅速增加到难以管理的水平，其数量等于各因素水平数的乘积。

9.6 2k实验设计

将每个因素的水平数减少到两个，即低水平和高水平，不同因素的高低水平可能不同。

9.7 交互作用

当两个特定因素具有某种协同效应时，两个因素的综合效应可能大于每个因素单独效应之和。交互作用可以通过复杂的统计分析技术进行研究，但实际应用中，从业者可能会假设不存在特殊交互作用。

9.8 优化实验替代方案

先进行初始实验以测试因素，然后针对显著因素进行后续实验，可能需要确定因素水平变得显著的关键点。

10. 终止模型分析

终止模型分析包括多个环节，具体如下：
- 复制分析 ：用于建立对仿真结果精度的信心。具体步骤为：
1. 选择初始复制次数。
2. 从初始复制集计算汇总统计信息，如均值、标准差、半宽置信区间或标准误差。
3. 计算精度水平。
4. 若精度低于期望精度，则计算新的复制次数。
5. 运行所需的新复制次数。
6. 重复该过程，直到精度水平达到期望水平。
- 生产仿真运行 ：对每个单独的替代方案都要进行复制分析，有些替代方案可能需要较少的复制次数，但所有替代方案都必须以任何单个替代方案所需的最高复制次数运行，且任何替代方案至少要运行10次复制。
- 仿真运行结果的统计分析 ：包括简单的两模型比较和三个或更多模型比较。
- 统计分析结果的经济分析 ：评估仿真结果在经济上的可行性和效益。

以下是复制分析的表格总结：
|步骤|操作|
|----|----|
|1|选择初始复制次数|
|2|计算汇总统计信息|
|3|计算精度水平|
|4|若精度不足，计算新复制次数|
|5|运行新复制次数|
|6|重复至精度达标|

11. 终止模型运行结果的统计分析

对终止模型运行结果进行统计分析，主要有简单两模型比较和三个或更多模型比较两种情况。

11.1 简单两模型比较

可采用假设检验或置信区间方法。假设检验只能接受或拒绝原假设，而置信区间方法是对应假设检验的改进，能提供更多信息，以图形展示统计结果，且更易于使用和解释。
- Welch置信区间方法 ：基于Smith–Satterthwaite检验，自动考虑可能的方差差异。首先计算自由度估计值，再计算置信区间。若置信区间包含0，则两模型无差异；若不包含0，则存在差异。
- Welch置信区间自由度计算公式：
$df = \frac{(\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2})^2}{\frac{(s_1^2 / n_1)^2}{n_1 - 1} + \frac{(s_2^2 / n_2)^2}{n_2 - 1}}$
其中，$df$为自由度，$s_1^2$为第一个替代方案的样本方差，$s_2^2$为第二个替代方案的样本方差，$n_1$为第一个替代方案的样本大小，$n_2$为第二个替代方案的样本大小。
- Welch置信区间计算公式：
$x_1 - x_2 \pm t_{df,1 - \alpha/2}\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}$
其中，$x_1$为第一个替代方案的均值，$x_2$为第二个替代方案的均值，$t_{df,1 - \alpha/2}$为先前估计自由度和$1 - \alpha/2$对应的t值。
- 配对t检验置信区间方法 ：适用于模型存在自然配对的情况。先根据配对的复制均值计算新变量，再计算新变量的置信区间。若置信区间包含0，则两模型无差异；若不包含0，则存在差异。
- 配对t检验变量计算：$Z_i = X_{i1} - X_{i2}$，其中$X_{i1}$为第一个替代方案的第$i$次复制均值，$X_{i2}$为第二个替代方案的第$i$次复制均值，$Z_i$为第$i$次复制的均值差异。
- 配对t检验置信区间计算：$Z \pm t_{\alpha/2,n - 1}\frac{s}{\sqrt{n}}$，其中$Z$为$Z$值的均值，$t_{\alpha/2,n - 1}$为$\alpha/2$和$n - 1$自由度的t分布值，$s$为$Z$值的标准差，$n$为复制均值对的数量。

11.2 三个或更多模型比较

采用方差分析（ANOVA）来确定是否有一个或多个替代方案与其他方案不同，其基于不同替代方案之间和内部方差的比率。

• ANOVA步骤 ：

  1. 提出原假设$H_0$：各均值无差异；备择假设$H_a$：均值存在差异。
  2. 选择显著性水平。
  3. 确定临界值。
  4. 计算F统计量。
  5. 将F统计量与临界值比较，若F检验统计量小于临界F值，则不能拒绝$H_0$；若大于临界F值，则拒绝$H_0$。

• ANOVA计算 ：

  • 计算总平方和$SST = \sum_{i = 1}^{k}\sum_{j = 1}^{n}(x_{ij} - \bar{x})^2$，其中$k$为不同替代方案的数量，$n$为每个替代方案的复制次数，$x_{ij}$为单个替代方案的单个复制均值，$\bar{x}$为所有复制均值的总均值。
  • 计算组间平方和$SSB = n\sum_{i = 1}^{k}(\bar{x}_i - \bar{x})^2$，其中$\bar{x}_i$为单个替代方案的复制均值的均值。
  • 计算组内平方和$SSW = SST - SSB$。
  • 计算组间均方$MSB = \frac{SSB}{k - 1}$。
  • 计算组内均方$MSW = \frac{SSW}{k(n - 1)}$。
  • 计算F统计量$F = \frac{MSB}{MSW}$。

• ANOVA结果 ：若拒绝$H_0$，则一个或多个均值在统计上显著不同，可使用Duncan多重范围检验确定哪些均值不同。

12. Duncan多重范围检验

在ANOVA的$H_0$被拒绝后进行，用于确定哪些均值在统计上与其他均值不同。它使用最小显著范围值来判断一组均值的差异。

• Duncan多重范围检验步骤 ：

  1. 将每个替代方案的复制均值按升序从左到右排序。
  2. 计算所有可能相邻均值集的最小显著范围值。
  3. 按集大小降序将每组可能的相邻均值与相应的最小显著范围值进行比较。
  4. 标记不显著的范围。

• 最小显著范围计算 ：$R_p = r_p s_{\bar{x}}$，其中$s_{\bar{x}}$为复制均值的Duncan标准差，$r_p$为给定显著性水平、集大小和自由度的Duncan多重范围乘数，$p$为相邻均值集的大小。

• $\bar{X}$的标准差计算 ：$s_{\bar{x}} = \sqrt{\frac{MSE}{n}}$，其中$MSE$为ANOVA结果中复制均值的均方误差，$n$为单个替代方案的复制次数。
• 相邻均值比较 ：从最大数量的相邻均值开始，若范围小于最小显著范围值，则无差异，该范围加下划线表示数据相同；若范围大于最小显著范围值，则有差异，需将范围拆分为更小范围并单独检查。

以下是一个Duncan多重范围检验的示例：
|替代方案|均值|
|----|----|
|1|23.5|
|2|26.2|
|3|27.5|
|4|28.1|

从该表可得出以下统计显著结论：
- 替代方案1与其他所有替代方案存在差异。
- 替代方案2与替代方案4存在差异。
- 替代方案2与替代方案3无差异。
- 替代方案3与替代方案4无差异。

13. 非终止系统分析

非终止系统分析主要关注以下几个方面：

13.1 起始条件

确定系统开始仿真时的初始状态，起始条件的设定会影响系统达到稳态的时间和仿真结果的准确性。

13.2 确定稳态

判断系统何时达到稳定状态，在稳态下系统的性能指标相对稳定，可进行有效的分析。常用的方法有观察系统性能指标的变化趋势、统计检验等。

13.3 自相关问题

非终止系统中可能存在自相关现象，即相邻时间点的数据之间存在相关性。自相关会影响统计分析的准确性，需要采取相应的方法进行处理，如批处理方法等。

13.4 复制长度

确定合适的仿真复制长度，以确保能够准确估计系统的性能指标。复制长度过短可能导致估计不准确，过长则会增加仿真时间和成本。

13.5 批处理方法

将仿真数据分成若干批次，对每一批次的数据进行统计分析，以减少自相关的影响。通过批处理可以更准确地估计系统的均值、方差等性能指标。

mermaid流程图展示非终止系统分析流程：

graph TD;
    A[起始条件设定] --> B[确定稳态];
    B --> C[处理自相关];
    C --> D[确定复制长度];
    D --> E[采用批处理方法];

综上所述，无论是仿真模型验证、实验设计还是数据分析，每个环节都紧密相连，对于准确评估系统性能、优化系统设计具有重要意义。在实际应用中，需要根据具体问题选择合适的方法和技术，以获得可靠的结果。