分位稀疏Transformer（Quantile Sparse Transformer，QSTransformer）稀疏attention实例

scient

scient一个用python实现科学计算相关算法的包，包括自然语言、图像、神经网络、优化算法、机器学习、图计算等模块。

scient源码和编译安装包可以在Python package index获取。

The source code and binary installers for the latest released version are available at the [Python package index].

https://pypi.org/project/scient

可以用pip安装scient。

You can install scient like this:

pip install scient

也可以用setup.py安装。

Or in the scient directory, execute:

python setup.py install

scient.neuralnet

神经网络相关算法模块，包括attention、transformer、bert、lstm、resnet、crf、dataset、fit等。

scient.neuralnet.transformer

transformer模块，实现以多头注意力机制为基础的transformer模型，包括Transformer、ViTransformer、Former、Encoder、Decoder。

分位稀疏Transformer（Quantile Sparse Transformer，QSTransformer）

分位稀疏Transformer（Quantile Sparse Transformer）模型的原理是通过“只保留小区域内的数值、强制让大部分注意力为零”的方式，来减少Attention的计算量。通过选择大于分位数（quantile）的attention矩阵的元素，将注意退化为稀疏注意。这样，保留最有助于引起注意的部分，并删除其他无关的信息。这种选择性方法在保存重要信息和消除噪声方面是有效的。注意力可以更多地集中在最有贡献的价值因素上。