基于AHP的SaaS质量评估框架

原创于 2025-10-23 08:38:38 发布 · 653 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#SaaS # 质量因素 # 层次分析法 # 服务质量 # AHP

使用层次分析法评估软件即服务的质量因素

摘要

本研究的目的是识别软件即服务（SaaS）的质量因素，并利用这些因素构建一个评估SaaS提供商所提供的SaaS服务质量的框架。该框架采用层次分析法（AHP）开发，并邀请了十位在SaaS领域具有4至18年经验的受访者参与。研究结果显示，共有32个因素影响SaaS质量，其中包括15个与产品相关的因素、10个与过程相关的因素和7个与组织相关的因素。各组中优先级最高的因素分别为：产品组中的安全性因素、过程组中的质量控制因素以及组织组中的技术胜任员工因素。我们还展示了将SaaS服务质量因素框架应用于一家基于SaaS的人力资源管理应用程序供应商，以评估其SaaS服务质量。

关键词 ：软件即服务；SaaS；质量因素；服务质量；云计算；层次分析法；AHP；信息系统；印度尼西亚。

1 引言

云计算以服务的形式提供基于互联网的虚拟资源。软件即服务（SaaS）是云计算服务之一。SaaS允许客户选择以一定的费用使用一定数量的服务。通过利用SaaS，客户可以消除拥有应用程序的成本，并提高投资回报率（ROI）的价值。这也是SaaS如今成为一种流行选择的原因之一（Babu 等，2014；古普塔，2013；Lindner 等，2010；Ratnam 和 Dominic，2014），包括用于企业对企业（B2B）目的（Petrescu，2012年）。

随着软件即服务（SaaS）使用量的不断增加，本地部署的应用供应商正在加大投资，将其应用程序开发为基于SaaS的应用程序。全球知名的基于SaaS的应用包括Salesforce CRM、Dynamics CRM和Oracle CRM。而在印度尼西亚，Sunfish HR、Axiopro HR和Haermes HRM等基于SaaS的应用在人力资源管理系统（HRMS）领域相当流行。印度尼西亚的基于SaaS的应用提供商与PT Telkom印度尼西亚公司等基础设施提供商合作，以向其客户提供更优质且完整的服务解决方案（Hidayanto 等，2012年）。由于基于SaaS的应用实施较为复杂，组织需要具备良好的IT治理和有效的决策能力，以实现组织目标（Lee，2013年）。

提供最优质的产品/服务是成功留住客户的重要因素（桑和埃泽，2012年；叶和埃泽，2012年）。一些框架（如全面质量管理）可用于帮助组织生产高质量产品/服务（法西尔和大田，2011年；李等，2013年）。然而，关于SaaS服务质量的研究较少，其中包括阿尔维斯和加米奇（2013）、班纳吉和贾因（2014）、乔汉和杰斯瓦尔（2015）、古普塔（2013）以及坎奇安等（2010）。此外，并没有进一步说明哪些因素应获得更多关注以实现SaaS服务的更高成功。同样，在印度尼西亚，目前尚未发现有关SaaS服务质量定义的研究，而印度尼西亚的SaaS市场增长却十分显著。弗罗斯特与沙利文2012年发布的2013年数据显示（http://frost.com/sublib/display-market-insight.do?id=284156497），印度尼西亚云计算市场中，SaaS市场占95.4%，IaaS市场占3.8%，PaaS市场占0.7%。根据弗罗斯特与沙利文的数据，印度尼西亚的云计算支出将在2017年达到1.2亿美元。

考虑到印度尼西亚SaaS服务的增长，制定SaaS质量因素以帮助组织改进其SaaS服务显得尤为重要。为了确定哪些SaaS质量因素被认为是重要的，我们提出使用层次分析法（AHP），这是一种在多准则决策中非常流行的工具。层次分析法已应用于许多领域，例如用于衡量ERP就绪性（Hidayanto 等，2013年）、发展移动政务（Yaghoobi 等，2014年）、评估和排名提供电子服务的酒店（Shahin 等，2014年）、评估和比较网站可用性（Presley和Fellows，2013年）等。

为了展示该框架的实施，我们选择了印度尼西亚一家基于SaaS的人力资源管理（HRM）应用程序供应商。该供应商的SaaS服务已广泛应用于农业综合企业、汽车、金融、商业、建筑、电子、能源、食品、健康、酒店、大众媒体、物流、旅游以及信息技术等多个行业。

本文将分为以下部分：第2节阐述了本研究的相关文献，从软件即服务的质量因素概念到层次分析法的概念。第3节说明了研究方法。第4节讨论了来自专家视角的SaaS服务质量相关研究结果。第5节展示了在一家软件即服务提供商中实施SaaS服务评估框架的情况。第6节给出了本研究的结论、影响以及未来的研究方向。

2 理论研究

2.1 SaaS 质量因素

软件即服务被定义为一种用于托管服务的软件，可通过互联网访问（Madisha 和 Belle，2009）。Xin 和 Levina（2008）将软件即服务定义为由供应商远程拥有和管理，并通过互联网作为服务交付给客户的软件。

为了观察SaaS质量因素，通过使用“软件即服务”、“SaaS”、“质量”、“评估”、“供应商”和“提供商”等关键词，在谷歌学术、斯普林格、电气与电子工程师协会、科学直接和ProQuest上检索相关文章。这些关键词使用AND或OR作为连接词。

最终找到了四篇与SaaS质量因素相关的文章，分别为班纳吉和贾因（2014）、阿尔维斯和加米奇（2013）、古普塔（2013）以及坎奇安等（2010）。所有研究均从供应商角度识别了影响SaaS质量的因素。由于各项研究中描述的含义具有相似性，因此可作为将所有因素合并为一个整体的依据。这些研究中识别出的所有因素被归类为三组：产品、过程和组织（坎奇安等人，2010）。每个质量因素根据其与某一类别的相关性被归入相应组别。

根据上述流程，共确定了32个因素。每个质量因素的说明，包括其定义和类别，如表1所示。R1列为巴纳吉和贾因（2014）的研究，R2列为阿尔维斯和加米奇（2013）的研究结果，R3列为古普塔（2013）的研究结果，R4列为坎奇安等（2010）的研究结果。

Code	因素	R1	R2	R3	R4	描述
产品质量因素
PD-1	可访问性				✓	指用户能够达到的程度访问SaaS服务（Cancian 等，2010年）。
PD-2	可用性		✓	✓	✓	指服务的可用性供立即使用（Cancian 等，2010年）。
PD-3	可配置性	✓	✓	✓		指软件即服务在配置方面的能力其服务以满足客户需求（古普塔，2013年）。
PD-4	可定制性	✓		✓		指软件即服务在变更方面的能力基于客户的特定部分/过程需求（古普塔，2013年）。
PD-5	完整性				✓	指服务的行为执行事务时。之后完成交易，信息应无不一致之处（坎奇安等人，2010）。
PD-6	互操作性		✓	✓	✓	指能够与其他系统透明通信的与其他系统透明地交互（坎奇安等人，2010）。
PD-7	可维护性			✓		指软件即服务执行的能力维护任务，例如更改以提高软件即服务的质量（古普塔，2013年）。
PD-8	监控			✓		指提供给双方的信息软件即服务的用户和供应商，例如许可证限制及其他（古普塔，2013年）。
PD-9	多租户	✓				指一个软件即服务application必须能够被多个客户使用，这些客户可能各自拥有一个以上的用户且彼此之间不会相互干扰（巴纳吉和贾殷，2014年）。
PD-10	性能	✓	✓	✓	✓	指吞吐量（单位时间内的请求数）和延迟（执行请求并接受响应所需的时间）（坎奇安等人，2010）。
PD-11	可靠性	✓			✓	指IT服务或其他资源的可用性和可靠性（坎奇安等人，2010）。
PD-12	健壮性				✓	指持续的服务, even处理不一致或不完整数据的能力（坎奇安等人，2010）。
PD-13	可扩展性	✓	✓	✓		指处理更多的能力时间间隔内没有请求中断服务（Cancian 等，2010年）。
PD-14	安全性	✓	✓	✓	✓	指对数据集的保护在保持数据价值的意义上对于用户（个人或组织）作为机密性的一个属性，完整性、可用性、安全性计算系统，电子信息和数据（Cancian 等，2010年）。
PD-15	可用性		✓			指一种能力applications on易用性（阿尔维斯和加米奇，2013）。

Code	因素	R1	R2	R4	描述
过程质量因素
PS-1	获取			✓	指从客户视角的获取过程从客户视角（坎奇安等人，2010）。
PS-2	计费、订阅和计量	✓	✓		指的是付款过程的提供方式，订阅或测量的提供方式（Alwis和Gamage，2013）。
PS-3	变更控制			✓	指的是变更控制流程，用于最小化变更本身的影响（坎奇安等人，2010）。
PS-4	质量控制			✓	指质量控制过程确保可用的服务满足确定的需求（Cancian 等，2010）。
PS-5	版本控制			✓	指版本控制过程保持版本完整性（Cancian 等，2010）。
PS-6	需求开发和管理			✓	指需求开发和管理过程以确保服务符合规格要求（坎奇安等人，2010）。
PS-7	维护			✓	指维护过程适应软件变更基于应客户要求（Cancian 等，2010年）。
PS-8	过程改进			✓	指增强过程专注于改进软件过程能力（Cancian 等，2010）。
PS-9	帮助台			✓	指的是support过程在协助客户使用方面服务（坎奇安等人，2010）。
PS-10	测试			✓	指用于验证和确认服务是否符合所规定要求的测试过程（坎奇安等人，2010）。

Code	因素	R1	R2	R3	R4	描述
组织质量因素
OG-1	基础设施能力				✓	指在多大程度上可用的基础设施是充足的并且足够。
OG-2	技术上胜任的员工				✓	指的程度员工有足够的足够的技术能力。
OG-3	服务连续性的预见				✓	指一个组织能够提供持续的技术资源和信息技术系统或服务。
OG-4	技术上胜任的在业务				✓	指在多大程度上员工有足够的业务competence。
OG-5	利用标准				✓	指服务在多大程度上可以被访问和可视化每个人或技术独立于硬件或软件。
OG-6	治理	✓	✓	✓	✓	指决定因素的因素该组织被指导和监管并受控。
OG-7	声誉				✓	指社会中的概念化（形象）。

2.2 层次分析法

根据萨蒂（2000），AHP方法是一种用于确定某个要素对问题影响的工具。萨蒂指出，AHP方法的基本目标是将无结构且复杂的情况分解为组成部分，将这些部分或变量按层次结构进行排列，对各变量相对重要性的主观判断赋予数值评分，并综合各种考虑因素，以确定具有最高优先级并对结果产生影响的变量。使用AHP解决问题有三大基本原则：构建层次结构、设定优先级和逻辑一致性。

确定优先级是重要的事项之一，且需要精确性。确定优先级的第一步是进行两两比较，即对每个子系统层次结构中的元素以成对形式进行比较。随后，该比较结果被转化为一个n × n矩阵，用于数值分析。例如，存在一个包含准则A以及该准则下从B1到Bn若干元素的子系统层次结构。该子系统层次中各元素之间的比较结果以一个n × n矩阵的形式生成。此矩阵即为成对比较矩阵，如图1所示。

示意图0

矩阵中bij的值表示Bi与Bj之间的比较值，显示了Bi相对于Bj的重要性程度。如果已知bij的值，则理论上bji= 1/bij的值可得，当i = j时，bij的值为1。层次分析法的比较值规则采用1到9的标度，如表2所示。

数值值	描述	备注
1	同等重要	两个元素具有相同的影响
3	稍微重要	评估略微偏向其中一个元素相比另一个
5	更重要	评估明显偏向一个元素与另一个相比
7	非常重要	一个元素更受青睐，且其主导地位实际可见
9	绝对重要	一个元素被证明是绝对优选的与其他相比
2, 4, 6, 8	中位数	描述描述之间的状态，对于示例2是描述条件的值在1到3之间。

在进行比较时，层次分析法（AHP）需要检验比较结果的一致性，即所谓的一致性指数（CI），其计算公式如下：

$$
CI = \frac{\lambda_{max} - n}{n - 1}
$$

其中
CI：一致性指数
λmax：最大特征值
n：比较的元素数量。

萨蒂（2000）认为，由随机比较得出的矩阵是一个不一致矩阵。从随机矩阵中，我们可以得到称为随机一致性指标（RI）的一致性指数值。通过比较CI和RI，我们可以确定一个判断矩阵一致性的标准，称为一致性比率（CR）。CR的计算公式如下：

$$
CR = \frac{CI}{RI}
$$

其中
CR：一致性比率
CI：一致性指数
RI：随机一致性指标

RI 的值可以在表3中看到。一致性比率越接近零，比较矩阵的一致性就越高。

矩阵阶数	1, 2	3	4	5	6	7	8	9	10	15
RI	0	0.52	0.89	1.11	1.25	1.35	1.40	1.45	1.49	1.59

3 研究方法

3.1 专家人口统计信息用于准备SaaS服务质量评估框架

为协助制定SaaS服务质量评估框架，邀请了印度尼西亚的十位云计算专家参与。这十位专家拥有4至18年经验，且来自不同行业。专家的人口统计信息见表4。

受访者	行业	Role	年份工作
受访者 1	软件公司	开发经理	10
受访者 2	IT顾问	云顾问	13
受访者 3	软件公司	项目经理	4
受访者 4	云服务	CTO	18
受访者 5	SaaS供应商	项目经理	7
受访者 6	telecommunications	云经理	8
受访者 7	telecommunications	解决方案架构师	6
受访者 8	移动应用	CTO	8
受访者 9	移动应用	销售和市场经理	8
受访者 10	IT顾问	云顾问	6

3.2 提出的用于评估SaaS服务质量的AHP模型

在成功识别出影响SaaS质量的所有因素后，专家们被要求使用已根据印度尼西亚背景调整的问卷，对32个SaaS质量因素进行评估。在问卷中，专家需使用五级量表（1‐5）来确定SaaS质量因素的重要性，该量表分别表示不重要、较不重要、相当重要、重要和非常重要。如果某个因素的众数或中位数显示其重要性等级等于或高于3（即相当重要），则将其纳入AHP模型。专家初步评估结果显示，与产品相关的15个因素、与过程相关的10个因素以及与组织相关的7个因素被认为重要。根据专家意见，这32个因素均为“相当重要”。基于此，我们提出了用于评估SaaS服务质量的AHP模型，如图2所示。

示意图1

图2所示的层次结构可被内部组织用于评估其向客户提供的SaaS服务。SaaS服务提供商可以评估在组织中已实施的实践，以确定服务是否已达到SaaS服务质量。随后，SaaS提供商可以评估需要改进的领域。

3.3 专家对SaaS服务质量因素优先级的评定

使用问卷工具来确定SaaS服务质量因素优先级。要求十位专家对每个层级中各准则的SaaS服务质量因素进行两两比较。数据处理通过支持优先级计算过程的电子表格模板完成。在AHP计算过程中，需要使用以下几何平均法（萨蒂，2000）合并十位专家的成对比较矩阵：

$$
a_{ij} = \left( \prod_{k=1}^{n} a_{ij}^{(k)} \right)^{1/n}
$$

n 是受访者数量，$ a_{ij}^{(k)} $ 是第k位专家对第i个因素和第j个因素进行两两比较的评分。

3.4 SaaS服务质量评估案例研究

为了演示所提出框架的实施，我们对印度尼西亚的SaaS服务提供商进行了案例研究。我们选择这家SaaS服务提供商，是因为它已成功在各个行业中实施了基于SaaS的人力资源管理应用。在此案例研究中，通过访谈、观察和文档研究对其SaaS服务实践进行评估。

4 SaaS服务质量因素优先级

确定SaaS服务中质量因素的优先级旨在识别本研究中最具影响力的因素。因素的优先级通过AHP方法确定。通过提出诸如“在与产品相关的质量因素类别中，哪个因素最具影响力？该因素的影响程度如何？”等问题获取专家评估。受访者被要求使用1‐9量表，在成对比较矩阵中对某一因素相对于其他因素的重要性进行评分。随后，使用从http://www.bpmsg.com下载的电子表格模板处理成对比较数据。该模板有助于进行成对比较计算。成对比较的结果包括每个因素的优先级百分比及其来自受访者的一致性值评估。

以下是影响SaaS服务质量的优先级因素分析结果。对于产品组，结果显示安全性（PD‐14）因素具有最高优先级，其优先级百分比为15.31%，其次是可用性（PD‐2）、可靠性（PD‐11）、性能（PD‐10）和可访问性（PD‐12）。最低优先级百分比为1.52%的是可配置性（PD‐3）因素。图3显示了整体SaaS质量因素及其优先级百分比。该组的一致性比率评估为6%。

示意图2

在过程组中，质量控制（PS‐4）、过程改进（PS‐8）和维护（PS‐7）处于最高优先级，各因素的优先级百分比分别为16.6%、16.5%和15.4%。最低优先级是测试（PS‐10）因素，其优先级百分比值为3.4%。该组的一致性比率评估为4.4%。该组的整体SaaS质量因素如图4所示。

在一致性比率评估为1.5%的情况下，标准的利用（OG‐5）因素在组织组中的优先级百分比为4.1%，是最低优先级。排名第一的是技术胜任的员工（OG‐2）因素，优先级百分比为31.1%。总体而言，该组中SaaS质量因素的优先级百分比如图5所示。

表5 显示了根据各组对 SaaS 质量因素优先级从高到低的排序。

SaaS 质量因素	排名	产品	过程
1	安全性	质量控制	技术胜任员工
2	可用性	流程改进	服务连续性预见服务
3	可靠性	维护	在技术上胜任业务
4	性能	需求开发与管理	基础设施能力
5	可访问性	变更控制	治理
6	健壮性	获取	声誉
7	完整性	标准的利用
8	可维护性	计费、订阅和计量
9	监控	版本控制
10	可扩展性	测试
11	可用性
12	互操作性
13	多租户
14	可定制性
15	可配置性

因此，根据专家评估，影响软件即服务质量的主要因素是：产品组的安全因素、过程组的质量控制因素以及组织组的技术能力员工因素。在许多研究中，安全性因素都是客户在采用基于云的技术时最为关注的因素之一（Hsu 等，2014；Lian，2015；Oliveira 等，2014；Hidayanto 等，2015）。

5 案例研究：软件即服务提供商的SaaS服务评估

5.1 案例研究概况

一家自1999年以来开发人力资源管理系统的知名供应商被选为本研究的案例研究对象，该系统旨在为组织或行业提供专门的人力资源管理解决方案。该供应商的目标是协助组织活动实现其目标，并帮助它们提高生产力。截至2013年2月，已有来自各个行业的365个客户使用该人力资源管理系统。为了将目标市场扩展至所有规模的企业，该供应商推出了基于软件即服务（SaaS）的新版人力资源管理系统。这一新产品使客户能够通过互联网使用人力资源管理应用程序。所提供的订阅方式可能是从各类规模企业中获取更多客户的有效策略之一。

5.2 软件即服务质量保证实践分析结果

供应商已实施多项实践以维持质量，甚至提升软件即服务的服务质量。在本案例研究中，对五名担任技术经理、开发经理和IT经理职务的人员进行了访谈。此外，在访谈之后还进行了观察和文档研究，作为三角验证过程的一部分。我们的目的是确保供应商已实施了先前所确定的实现SaaS服务质量的实践。表6显示了该案例研究分析结果的汇总。

质量保证实践	Code	因素	存在缺失	相关文档/观察
与产品相关的因素
	PD-1	可访问性	✓	QA测试，冗余服务器
	PD-2	可用性	✓	EURA
	PD-3	可配置性	✓	Application of SunfishHR 软件即服务
	PD-4	可定制性	✓	变更请求表单
	PD-5	完整性	✓	质量保证测试
	PD-6	互操作性	✓	导出/导入数据
	PD-7	可维护性	✓	Support site/ticketing system
	PD-8	监控	✓	AppSunfishHR 软件即服务的应用
	PD-9	多租户	✓	AppSunfishHR 软件即服务的应用
	PD-10	性能	✓	质量保证测试
	PD-11	可靠性	✓	EURA
	PD-12	健壮性	✓	质量保证测试
	PD-13	可扩展性	✓	订阅续订
	PD-14	安全性	✓	EURA, OWASP
	PD-15	可用性	✓	带有a的文档pplication,增强请求
与流程相关的因素
	PR-1	获取	✓	投资回报率文档SunfishHR 软件即服务
	PR-2	计费、订阅和计量	✓	网站
	PR-3	变更控制	✓	变更请求表单
	PR-4	质量控制	✓	支持站点，审计
	PR-5	版本控制	✓	补丁,太阳鱼可乐
	PR-6	需求开发与管理	✓	评估与差距分析文档
	PR-7	维护	✓	维护政策
	PR-8	流程改进	✓	质量保证测试
	PR-9	帮助台	✓	客户关系位置专员，支持站点/工单系统
	PR-10	测试	✓	QA，测试请求
与组织相关的因素
	OR-1	基础设施能力	✓	Biznet, DRP,网络基础设施
	OR-2	技术胜任员工	✓	招聘流程，trainin g,指导
	OR-3	连续性保障服务连续性	✓	季度开发文件
	OR-4	在技术上胜任业务	✓	招聘流程，培训
	OR-5	标准的利用	✓	ISO 9001, OWASP
	OR-6	治理	✓	ISO 9001认证
	OR-7	声誉	✓	网站,社交媒体账户,年度会议

根据表6可以看出，供应商已经针对所有因素实施了质量保证实践。现场的证据表明，所有实践都已作为SaaS服务质量保证的一部分为其客户实施。因此，总体因素已得到良好实施，应进一步优化以实现更优质的服务。

6 结论、影响和进一步研究

6.1 结论

本研究的结果得出了影响SaaS服务质量的32个因素。这些因素包括15个与产品相关的因素、10个与过程相关的因素和7个与组织相关的因素。使用AHP方法进行数据处理的结果显示，在与产品相关的因素中，安全性是最具影响力的因素；在与过程相关的因素中，质量控制因素是最具影响力的因素；在与组织相关的因素中，技术熟练的员工是最具影响力的因素。这32个因素已被用于评估供应商内部的SaaS服务质量，该供应商同时运营基于SaaS的应用服务。

6.2 实际影响

SaaS 质量因素分析（包括优先级因素）从产品、过程和组织的角度提供了 SaaS 质量因素。本研究的实际影响体现在以下两个方面：
- 本研究得出的SaaS服务质量因素可被SaaS服务提供商用于评估面向客户的服务质量。该评估框架可作为服务质量维度内部审计流程的一部分。
- 采用AHP方法进行优先级排序的结果显示了提供商应关注的SaaS服务质量。

在所评估的三个质量维度中，产品组中的安全因素、过程组中的质量因素以及组织组中的技术熟练员工是SaaS服务质量因素中最重要的因素。这可能意味着该组织需确保实施这三个因素，以维持客户对组织所提供的SaaS产品的忠诚度。