表格理解专题（三）：单元格的特征提取举例

下面我们构建一个示例，其中结合了 RoBERTa、相对位置编码、数据类型和邻居单元格信息 来提取单元格信息。假设我们要处理一个包含文本、数值和日期等数据的表格，目的是为每个单元格提取特征，以便用于后续的 GNN 模型。

假设单元格 cell 位于表格中的 (row, col) 位置，我们将从以下几个方面提取特征：

• 文本嵌入（RoBERTa）
• 相对位置编码
• 数据类型编码
• 邻居单元格信息

环境和库
假设使用了 Hugging Face 的 Transformers 库以及 PyTorch 进行计算：

import torch
import torch.nn as nn
from transformers import RobertaModel