传染病病例预测与白血病患者鉴别方法研究
1. 定向注意力模型(OAM)介绍
OAM模型由三个阶段构成,其工作流程如下:
1. 数据处理阶段 :输入的时间序列使用Min - Max归一化方法进行归一化,原因包括提高计算速度和部分神经网络的可计算性。归一化后的时间序列通过“一步向前分割”转换为监督数据。
2. 定向注意力生成与组合阶段 :生成定向注意力并进行组合。
3. 反归一化阶段 :模型输出进行反归一化处理。
1.1 可定向注意力单元(OAU)
OAU旨在从多个方面捕获注意力并降低模型复杂度,包含方面选择组件和注意力表示组件。
- 方面选择组件 :通过转置输入张量的维度来观察输入张量。对于输入张量$X \in R^{B×T×1}$,有四种方面,公式如下:
[
X_i =
\begin{cases}
X, & i = 1 \
X.permute(0, 2, 1), & i = 2 \
X.permute(2, 0, 1), & i = 3 \
X.permute(1, 0, 2), & i = 4
\end{cases}
]
其中$X_1 \in R^{B×T×1}$,$X_2 \in R^{B×1×T}$,$X_3 \in R^{1×B×T}$,$X_4 \in R^{T×B×1}$。不同方面的作用如下:
- $X_1$:通过映射时间间隔内的值来区
超级会员免费看
订阅专栏 解锁全文
71

被折叠的 条评论
为什么被折叠?



