nimo观察者

特点：用户不仅表达模型结构，还需要表 达执行步骤，并且按照每一步定义进行执行，由于无法像声明式编程获取完整计算 图并优化后执行，所以难以提供全面的计算图优化，但是由于其简单易用，灵活性高，在模型研究人员中也有很高的用户基础，并不断在新的研究工作中被广泛使用，从而打下广泛的用户基础。计算图的优化被定义为作为在计算图上的函数，通过一系列等价或者近似的 优化操作将输入的计算图变换为一个新的计算图。算子是构成神经网络的基本计算单元，对张量数据进行加工处理，实现了多种机器学习中常用的计算逻辑。

循环神经网络（Recurrent Neural Network）：NN 结构只能单独的去处理一个个的输入，前一个输入和后一个输入是完全没有关系的，RNN 允许神经单元包含循环，这样信息可以在不同时刻传输，适合时序数据预测（例如，自然语言处理，语音识别，监控时序数据等）。Transformer模型：摒弃了固有的定式，并没有用任何CNN或者RNN的结构，而是使用了Attention注意力机制，自动捕捉输入序列不同位置处的相对关联，善于处理较长文本，并且该模型可以高度并行地工作，训练速度很快。