21、无状态服务函数：机器学习模型服务的优化方案

无状态服务函数：机器学习模型服务的优化方案

1. 有状态与无状态组件概述

在企业应用设计中，有状态组件通常成本高昂且难以管理，因此架构师会尽量减少其数量。例如，Web 应用常基于 REST API 设计，每次调用都会将状态从客户端传输到服务器。

在机器学习模型训练过程中，会捕获大量状态信息，如轮数（epoch number）和学习率（learning rate）。由于学习率通常会随每一轮训练而衰减，所以这些状态信息需要被记录。当要求将模型导出为无状态函数时，意味着模型框架创建者要跟踪这些有状态变量，且不将它们包含在导出文件中。

使用无状态函数虽能简化服务器代码并提高可扩展性，但可能会使客户端代码更复杂。例如，一些模型函数本质上是有状态的，像拼写纠正模型，为了根据上下文将 “there” 纠正为 “their”，它需要知道前几个单词，因此必须是有状态的。处理序列的模型会使用特殊结构（如循环神经网络单元）来维护历史信息。若要将此类模型导出为无状态函数，就需要将输入从单个单词改为句子，这会增加客户端管理状态的复杂度。

2. 问题提出：文本分类模型的推理困境

以一个使用互联网电影数据库（IMDb）影评作为训练数据的文本分类模型为例。模型的初始层使用预训练嵌入，将文本映射到 20 维嵌入向量。以下是模型的代码实现：

import tensorflow as tf
import tensorflow_hub as hub

model = tf.keras.Sequential()
embedding = (
    "https://tfhub.dev/google