12、代理声誉网络中最大化预期影响

代理声誉网络中最大化预期影响

在当今的各种领域，如电子商务平台、P2P文件共享系统以及分布式人工智能/多代理系统中，自主代理需要处理信任和声誉的问题。然而，很少有计算信任/声誉框架能够以一种原则性的方式处理行动和观察中的不确定性，并且还能在多个领域中通用。本文提出了一种基于部分可观察马尔可夫决策过程（POMDP）的新框架，即声誉网络POMDP（RepNet - POMDP），用于多代理系统中代理声誉的推理。

1. 引言

POMDP是一个用于在随机领域中推理行动序列效用的抽象数学模型，但通常用于建模单个代理。本文将其扩展以应用于信任和声誉成为问题的随机多代理系统。RepNet - POMDP区分了代理的形象（在其他代理的感知中）和声誉（类似于“社会形象”），具有一些独特的特征：
- 区分无向（常规）行动和有向行动（针对特定代理）。
- 除了常规的状态转移函数，还有一个有向转移函数用于建模声誉在交互中的影响。
- 其定义和可用性比类似框架更直观。

此外，还提出了更新代理相互形象、学习其他代理行动分布以及从形象确定感知声誉的方法，并给出了代理在声誉有影响的网络中选择最优行动的规划算法理论。

2. RepNet - POMDP的提出

2.1 基础结构

RepNet - POMDP被定义为一对元组⟨System, Agents⟩。
- System ：指定适用于所有代理的网络方面，是所有代理共享的全局知识。System := ⟨G, S, A, Ω, I, U⟩，各部分含义如下：
- G ：有限的代