序列建模利器：Google开源的序列建模库

Google最近开源了一个名为sequence-layers的序列建模库，它是基于TensorFlow 2构建的，旨在简化序列模型的创建，这些模型可以逐层执行（例如，教师强制训练）也可以逐步执行（例如，自回归采样）。

这个库的一个关键特性是支持流式（逐步）操作。为了实现这一点，每个层都有一个状态的概念，并且除了在其他库（如Keras）中找到的典型层处理功能外，还有一个步骤函数。当层支持步骤方法时，它们的层方法对于相同的输入块序列产生相同的结果，这使得根据用例在逐步和层处理之间轻松切换成为可能。

目标

• 提高序列建模在研究和生产应用中的发展速度。
• 支持在单一实现中进行逐层和逐步处理。
• 声明式API。
• 可组合的、轻量级的抽象。
• 轻松混合流行的序列建模范式（卷积、递归、注意力架构）。
• 通过tf.lite支持每一层的快速部署路径。
• 跟踪无效的时间步（那些由填充计算得出的）。

协议缓冲区API

一个可选的protobuf API允许你从proto中指定SequenceLayers。

查看sequence_layers/proto.proto。proto API旨在与Python API紧密匹配。你可以通过使用protobuf扩展来注册自己的自定义SequenceLayers，以便在协议缓冲区API中使用。

自定义SequenceLayers和proto API的示例代码如下：

protobuf

// custom_proto.proto
import "third_party/py/sequence_layers/proto.proto";

message CustomLayer {
  optional float param = 1;
  optional string name = 2;
}

extend sequence_layers.SequenceLayer {
  optional CustomLayer custom_layer = 344129823;
}

然后注册一个工厂函数，告诉build_sequence_layer如何从配置中实例化层：

python

from sequence_layers import proto as slp

@slp.register_factory(custom_proto_pb2.CustomLayer)
def _build_custom_layer(spec: custom_proto_pb2.CustomLayer) -> CustomLayer:
  return CustomLayer(spec.param, spec.name)

这个库为序列建模提供了一个强大而灵活的工具，使得开发者可以更容易地构建和部署序列模型。GitHub上的项目地址为：github.com/google/sequence-layers。