14、SaaS产品可靠性评估：基于CORE模型的全面解析

最新推荐文章于 2025-10-23 17:24:17 发布

原创最新推荐文章于 2025-10-23 17:24:17 发布 · 92 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#SaaS # 可靠性评估 # CORE模型

云计算环境的可靠性探索专栏收录该内容

15 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

SaaS产品可靠性评估：基于CORE模型的全面解析

1. 引言

在当今数字化时代，SaaS（软件即服务）产品在企业运营中扮演着越来越重要的角色。然而，面对市场上众多的SaaS产品，如何选择可靠的产品成为企业面临的一大挑战。以客户为导向的可靠性评估（CORE）模型应运而生，它可以对SaaS产品的可靠性进行全面评估，同样的计算方法也适用于IaaS（基础设施即服务）和PaaS（平台即服务）等其他模型的产品或服务。

服务提供商负责提供可靠的SaaS产品，而客户则需要从众多符合业务需求的产品中选择可靠的产品。这是一项艰巨的任务，因为市场上针对单一业务功能往往有大量的产品可供选择。仅仅根据提供商的夸大宣传来选择SaaS产品是非常危险的，就像不评估高度或不采取保护措施就从悬崖上跳下一样。企业迁移到SaaS后，其运营完全依赖于该产品，因此所选的SaaS产品必须无故障运行，以确保业务的连续性。任何偏离标准工作的情况最终都可能导致财务和客户损失。

为了更好地说明CORE模型的应用，我们将以两个中小企业（MSME）客户为例进行分析。这两个客户目前使用传统软件进行会计操作，并希望转向基于云的会计SaaS产品。我们选择了三款产品（P1、P2和P3）来计算其可靠性。为保护客户隐私，我们将这两个客户分别称为C1和C2，待评估的产品分别称为P1、P2和P3。

2. 客户概况

以下是两个客户的详细概况：
| 客户 | 业务类型 | 业务年限 | 初始投资 | 业务情况 | 需求与关注点 |
| — | — | — | — | — | — |
| C1 | 设计师纺织品零售商 | 4年 | 200万卢比 | 最初在市场区域租了一家商店，雇了一名员工，家人帮忙进行服装设计。最初使用手动计费和簿记方法，业务每年约增长25%，现在拥有一家商店，雇佣了约4人进行销售和服装设计，使用MS Excel进行月度和年度会计操作。 | 希望使用适合业务运营的会计软件，但担心软件使用会改变业务流程。 |
| C2 | 文具零售商 | 3年 | 300万卢比 | 在一个有五所教育机构的购物中心购买了一家商店，除文具外，还提供项目打字、印刷、装订和复印服务，销售各种计算机存储设备和打印机墨盒。最初雇佣了两人，使用电子计费系统和MS Excel进行会计操作，业务每年约增长35%，现在有大量客户，员工人数增加到7人。 | 希望尝试用于财务操作的云应用程序，需要将现有的Excel数据迁移到新应用程序，并愿意调整业务流程以适应软件流程，关注业务连续性和数据安全。 |

3. CORE模型使用流程

使用CORE模型评估SaaS产品可靠性的流程如下：
1. 选择产品 ：希望确定产品可靠性的客户带着所选的产品或产品组合访问模型的仪表板。
2. 提供偏好 ：客户根据业务需求提供对指标和子指标的偏好。如果客户无法提供偏好，可以通过选择业务类型来获取偏好模板。对于不熟悉云使用的客户，可靠性工程师（REs）会向他们介绍云产品或服务的预期，并指导他们提供偏好。
3. 计算优先级 ：根据客户提供的偏好，计算指标和子指标的优先级。
4. 传递优先级 ：将这些优先级传递到可靠性评估层。
5. 评估可靠性 ：根据分配的优先级，并借助存储库层中关于产品过去性能和产品符合标准的信息，评估所选产品的可靠性。如果选择了多个产品，CORE模型还会提供比较可靠性排名。

4. 可靠性指标偏好输入

客户C1和C2根据其业务需求提供了对指标和子指标的偏好。可靠性工程师会向客户介绍如何分配指标偏好，如果客户没有偏好，会提供示例偏好。通过创建比较矩阵和特征向量来计算优先级，并检查一致性比率以验证分配给指标的偏好的一致性。如果一致性比率高于0.1，会建议客户更改偏好；如果客户不愿意更改，则会接受该偏好，但会发出警告。允许的CR限制为0.1 - 0.2。

以下是客户C1和C2的一级指标偏好比较和最终优先级：
| 一级指标 | C1偏好 | C2偏好 |
| — | — | — |
| 运营 | 8 | - |
| 安全 | 5 | 3 |
| 支持和监控 | 5 | 5 |
| 容错 | - | - |

客户	指标	优先级
C1	运营	0.60
C1	安全	0.03
C1	支持和监控	0.09
C1	容错	0.28
C2	运营	0.19
C2	安全	0.68
C2	支持和监控	0.09
C2	容错	0.04

从上述表格可以看出，客户C1非常重视业务流程的维护，因此运营指标的优先级较高；而客户C2是技术达人，更关注安全和业务连续性，所以安全指标的优先级较高。

可靠性指标是分层级的，每个一级指标都有相应的子指标。在完成一级指标的偏好输入后，还需要接受客户对二级指标的比较偏好。以下是运营指标子指标的比较偏好和优先级：
| 运营子指标 | C1偏好 | C2偏好 |
| — | — | — |
| 工作流程匹配 | 9 | 3 |
| 互操作性 | 8 | - |
| 迁移便利性 | 7 | 1 |
| 可扩展性 | 5 | - |
| 可用性 | 4 | - |
| 更新频率 | - | - |

客户	指标	优先级
C1	工作流程匹配	0.38
C1	互操作性	0.02
C1	迁移	0.03
C1	可扩展性	0.14
C1	可用性	0.10
C1	更新频率	0.33
C2	工作流程匹配	0.06
C2	互操作性	0.03
C2	迁移	0.39
C2	可扩展性	0.11
C2	可用性	0.12
C2	更新频率	0.29

客户C1特别关注业务流程的维护，因此工作流程匹配指标的优先级较高；而客户C2已有现有的系统，希望确保业务连续性，因此迁移指标的优先级较高，其次是更新频率。两个客户都将更新频率指标列为第二优先指标，因为SaaS产品相对于内部应用程序可以消除更新和维护的负担。

除了运营指标子指标，还收集了安全、支持和监控、容错等指标子指标的偏好，并计算了相应的优先级。以下是这些指标子指标的优先级表格：
| 客户 | 安全子指标 | 优先级 |
| — | — | — |
| C1 | 内置功能 | 0.45 |
| C1 | 证书 | 0.35 |
| C1 | 位置感知 | 0.03 |
| C1 | 事件报告 | 0.17 |
| C2 | 内置功能 | 0.63 |
| C2 | 证书 | 0.08 |
| C2 | 位置感知 | 0.25 |
| C2 | 事件报告 | 0.04 |

客户	支持和监控子指标	优先级
C1	合规报告	0.17
C1	遵守SLA	0.30
C1	审计日志	0.05
C1	客户支持	0.38
C1	通知报告	0.10
C2	合规报告	0.14
C2	遵守SLA	0.44
C2	审计日志	0.04
C2	客户支持	0.32
C2	通知报告	0.06

客户	容错子指标	优先级
C1	可用性	0.65
C1	灾难管理	0.05
C1	备份频率	0.15
C1	恢复时间	0.15
C2	可用性	0.73
C2	灾难管理	0.09
C2	备份频率	0.09
C2	恢复时间	0.09

5. 指标计算

在接受客户的偏好并计算指标优先级后，需要进行指标性能的计算。计算子指标的值并与优先级值相结合，以评估产品的可靠性。多个产品的指标值可以组合成矩阵形式，从中计算特征向量，特征向量的值提供了产品的比较可靠性排名。

可靠性指标层次结构中最低级别的子指标需要首先计算。根据指标类型，计算可以在可靠性评估时进行，也可以定期计算并存储在CORE模型的存储库层中。指标计算主要分为以下三种类型：
- 基于期望的输入 ：该指标用于接受计划采用SaaS产品进行业务运营的用户的输入。客户需要填写一份包含业务和云使用相关知识的问卷，这也为非正规业务部门的客户提供了一个简化业务运营的平台。这些指标用于评估产品的性能，进而计算产品的可靠性，计算方式类似于百分比计算。例如，如果期望产品具有10个功能，且所有10个功能都存在，则产品的可靠性为1；如果只有8个功能存在，则产品的可靠性为8/10 = 0.8。
- 基于使用的输入 ：该输入来自SaaS产品的现有用户，用于确保产品按照目录规格交付。通过调查从现有客户那里收集各种产品的使用反馈，并存储在存储库层中。调查使用包含产品性能问题的问卷，目标人群是SaaS产品用户，研究人群是已迁移到云的中小企业客户。采用分层抽样技术，将客户根据业务规模和类型分为不同的“层”，每个层作为独立的子群体，随机选择样本。反馈的首选人员是组织中对云应用程序的控制和监控过程有全面了解的IT人员。在CORE模型使用六个月后，还会采用面板抽样技术，对同一组现有客户在六个月内进行多次调查。

在收集反馈的过程中，遇到了一些挑战：
- SaaS提供商不愿意提供使用其产品的客户列表，声称其产品可靠。经过解释，他们了解到该模型可以提供其产品与竞争对手产品的可靠性比较，有助于产品推广和扩大客户群，并且会与他们分享调查结果，以帮助他们改进产品，因此最终愿意配合。
- 大多数SaaS产品用户没有对SaaS操作进行精确的基于时间的监控。通过向用户介绍监控操作的重要性、SaaS产品可靠性对业务运营的意义以及他们在拟议可靠性模型中的角色，解释了需要监控和记录的CORE模型的各种因素以及监控程序。三个月后回访这些用户，收集他们的反馈。

基于用户反馈的指标可靠性计算使用卡方方法或二项式的累积分布函数（CDF）。SaaS可靠性子指标如可用性、支持时间、响应时间、备份保留、位置感知、迁移便利性、更新频率等，使用拟合优度检验进行计算。从SLA中获取这些指标的保证值，从产品的现有用户那里获取实际提供的值。

例如，产品P1、P2和P3的观察可用性小时数如下表所示：
| 产品（P1） | 产品（P2） | 产品（P3） |
| — | — | — |
| 680 | 700 | 710 |
| 678 | 698 | 705 |
| 664 | 710 | 719 |
| 650 | 703 | 715 |
| 679 | 705 | 719 |
| 683 | 700 | 716 |
| 680 | 712 | 719 |
| 679 | 701 | 715 |
| 662 | 700 | 719 |
| 684 | 705 | 719 |

产品P1的保证可用性为95%，产品P2为99%，产品P3为99.99%。根据这些信息，计算每个产品的预期可用性小时数：
- 一个月的小时数：24 * 60 = 720小时
- 产品P1的预期可用性小时数：720 * 95% = 684小时
- 产品P2的预期可用性小时数：720 * 99% = 712.8小时
- 产品P3的预期可用性小时数：720 * 99.99% = 719.28小时

对于产品P1的可用性计算示例如下：
| 观察可用性小时数 | (观察值 - 预期值)² | 预期值（P1 = 684） | (观察值 - 预期值)² / 预期值 |
| — | — | — | — |
| 680 | 16 | 684 | 0.023 |
| 678 | 36 | 684 | 0.052 |
| 664 | 400 | 684 | 0.584 |
| 650 | 1156 | 684 | 1.69 |
| 679 | 25 | 684 | 0.036 |
| 683 | 1 | 684 | 0.001 |
| 680 | 16 | 684 | 0.023 |
| 679 | 25 | 684 | 0.036 |
| 662 | 484 | 684 | 0.707 |
| 684 | 0 | 684 | 0.000 |

最后一列的总和为3.15，略偏高，这表明产品提供的可用性小时数与保证小时数存在一定偏差。通过在线卡方计算器计算得到的卡方值的概率为0.957，也反映了产品的性能。对于其他子指标的卡方评估，也需要遵循相同的程序。

如果指标的反馈值是二分法值（如“是/否”），则使用二项式函数的累积分布方法。例如，审计日志指标的计算基于成功的日志访问和保留活动。用户根据需要时的日志活动访问情况输入“是”或“否”，回答“是”的客户数量提供了成功事件的值，调查的客户数量为试验次数。如果对产品P1、P2和P3的10个客户进行调查，则试验次数为10。

综上所述，通过CORE模型对SaaS产品进行可靠性评估是一个全面而系统的过程，需要综合考虑客户的偏好、产品的性能指标以及各种计算方法，以确保选择到可靠的SaaS产品，满足企业的业务需求和发展目标。

SaaS产品可靠性评估：基于CORE模型的全面解析

6. 指标计算方法详解

在进行指标计算时，不同类型的指标需要采用不同的计算方法，以下将详细介绍这些方法及其应用。

6.1 卡方方法

卡方方法主要用于基于用户反馈的指标可靠性计算，特别是当指标存在预期值和观察值时，如SaaS可靠性子指标中的可用性、支持时间、响应时间等。下面以产品可用性为例，详细说明卡方方法的计算步骤：
1. 确定预期值 ：根据SLA中产品保证的可用性百分比，计算出预期的可用性小时数。例如，一个月有720小时（24 * 60），若产品P1保证可用性为95%，则其预期可用性小时数为720 * 95% = 684小时。
2. 收集观察值 ：从产品的现有用户那里收集一个月内的实际可用性小时数。如产品P1的观察可用性小时数为680、678、664等。
3. 计算差值平方 ：对于每个观察值，计算其与预期值的差值，并将差值平方。例如，观察值680与预期值684的差值为 -4，差值平方为16。
4. 计算比值 ：将差值平方除以预期值，得到每个观察值对应的比值。如16 / 684 = 0.023。
5. 求和得到卡方值 ：将所有观察值对应的比值相加，得到卡方值。如产品P1的卡方值为3.15。
6. 计算概率 ：通过在线卡方计算器，根据卡方值计算出概率，该概率反映了产品的性能。如产品P1的卡方值对应的概率为0.957。

以下是卡方方法计算可用性的流程图：

graph TD;
    A[确定预期值] --> B[收集观察值];
    B --> C[计算差值平方];
    C --> D[计算比值];
    D --> E[求和得到卡方值];
    E --> F[计算概率];

6.2 二项式的累积分布函数（CDF）方法

当指标的反馈值是二分法值（如“是/否”）时，使用二项式的累积分布函数方法。以审计日志指标为例，其计算步骤如下：
1. 确定试验次数 ：试验次数为调查的客户数量。例如，对产品P1、P2和P3的10个客户进行调查，则试验次数为10。
2. 确定成功次数 ：成功次数为回答“是”的客户数量，即产品成功执行相应操作（如成功的日志访问和保留活动）的次数。
3. 计算概率 ：根据二项式分布的公式，计算产品成功执行操作的概率，从而得到指标的性能。

7. 综合评估与决策

在完成所有指标的计算后，需要将各个指标的结果进行综合评估，以确定产品的可靠性排名，并为客户的决策提供依据。

7.1 特征向量计算

多个产品的指标值可以组合成矩阵形式，从中计算特征向量。特征向量的值提供了产品的比较可靠性排名。具体步骤如下：
1. 构建矩阵 ：将每个产品的各项指标值按照一定的顺序排列，形成一个矩阵。
2. 计算特征向量 ：使用数学方法（如特征值分解）计算矩阵的特征向量。
3. 确定排名 ：根据特征向量的值，对产品进行排名，值越大表示产品的可靠性越高。

7.2 决策建议

根据产品的可靠性排名，结合客户的业务需求和偏好，为客户提供决策建议。例如，如果客户C1非常重视业务流程的维护，那么在选择产品时，应优先考虑运营指标中工作流程匹配优先级较高的产品；如果客户C2更关注安全和业务连续性，则应优先选择安全指标优先级较高的产品。

以下是综合评估与决策的流程图：

graph TD;
    A[完成指标计算] --> B[构建矩阵];
    B --> C[计算特征向量];
    C --> D[确定产品排名];
    D --> E[结合客户需求和偏好];
    E --> F[提供决策建议];

8. 案例分析

为了更好地理解CORE模型的应用，下面以客户C1和C2选择会计SaaS产品为例进行案例分析。

8.1 客户需求分析

客户C1 ：作为设计师纺织品零售商，希望使用适合业务运营的会计软件，担心软件使用会改变业务流程，因此更关注运营指标中的工作流程匹配。
客户C2 ：作为文具零售商，希望尝试用于财务操作的云应用程序，关注业务连续性和数据安全，因此更关注安全指标。

8.2 指标偏好与优先级

根据客户的需求，确定了各个指标的偏好和优先级。例如，客户C1对运营指标的优先级较高，特别是工作流程匹配；客户C2对安全指标的优先级较高，特别是内置安全功能。

客户	一级指标	优先级
C1	运营	0.60
C1	安全	0.03
C1	支持和监控	0.09
C1	容错	0.28
C2	运营	0.19
C2	安全	0.68
C2	支持和监控	0.09
C2	容错	0.04

8.3 产品评估与选择

通过对产品P1、P2和P3的各项指标进行计算和综合评估，得到了产品的可靠性排名。结合客户的需求和偏好，为客户提供了决策建议。例如，如果产品P1在运营指标中的工作流程匹配表现较好，而客户C1更关注这一指标，那么可以建议客户C1优先考虑产品P1；如果产品P2在安全指标中的内置安全功能表现突出，而客户C2更关注安全，那么可以建议客户C2优先考虑产品P2。