20、多模态输出管理与对话系统评估

多模态输出管理与对话系统评估

多模态输出管理中的对齐

在多模态对话的情境中，对齐起着重要的作用。尤其是在韵律和词汇对齐的相关研究之后，以及在语言的各个维度上的研究。对齐不仅在多模态对话中有着重要的参与度，而且与人类对话中的对齐存在差异。与机器的对齐被视为一种使通信得以进行的策略，因此对齐也成为了多模态对话面临的主要挑战之一。

多模态输出的选择与生成

系统除了通过语音回复外，还可以通过视觉反馈甚至手势（如果能以屏幕上的化身形式呈现）来表现反应和回答。系统输出这些消息时需要做出诸多选择，例如：应该突出哪些信息？哪些信息部分以视觉形式呈现？哪些部分以口头形式呈现？这涉及到多模态和语言消息的自动生成技术，同时也需要考虑输入处理中的语言问题以及认知方面的问题，比如考虑人类因素以生成合适的消息。

多模态对话系统评估的意义

评估旨在衡量系统的性能，将其与现有系统进行比较，找出优缺点。如果条件允许，还可以通过重新设计阶段来改进系统。评估虽然有时会受到贬低，但它能为设计和实现带来宝贵的视角和可用的方法。例如，在评估指代表达自动生成算法时，评估促使研究人员明确算法中使用的参数。评估活动还有助于聚集关注相同问题的研究人员，推动整体发展。

多模态对话系统评估面临的挑战

1. 系统可扩展性问题 ：与信息提取、语音识别或句法分析系统不同，多模态对话系统大多仍处于研究原型阶段，难以正确制作和操作，且对用户行为非常敏感。除了少数边缘的娱乐示例外，几乎没有系统能面向大众销售并盈利使用。因此，可扩展性仍然是多模态对话的主要问题，评估也主要局限于研究原型或特定任务的专业系统，适用用