Time-Series-Library项目中的传感器数据分类任务实践指南
项目地址: https://gitcode.com/GitHub_Trending/ti/Time-Series-Library 传感器数据预处理与TimesNet模型适配
在使用Time-Series-Library项目中的TimesNet模型进行传感器数据分类时，数据预处理是关键的第一步。本文将以一个典型的传感器数据集为例，详细介绍如何将原始数据转换为适合TimesNet模型输入的格式。
原始数据结构分析
典型的传感器数据通常具有以下特征：
- 多文件结构：每个文件代表一个独立的时间序列样本
- 多维时间序列：每个时间点包含多个维度的测量值
- 固定采样频率：数据按固定时间间隔采集
- 结构化存储：数据以特定格式（如CSV或文本文件）存储
在本文案例中，数据以文本文件形式存储，每个文件包含：
- 每7行代表一个时间点的数据
- 每个时间点包含7个维度的测量值（4个旋转参数和3个平移参数）
- 维度间用逗号分隔
数据转换流程
1. 数据加载与解析
首先需要将文本文件中的数据解析为数值矩阵。对于每个文件：
- 逐行读取文本内容
- 去除空行和注释行
- 将逗号分隔的数值转换为浮点数
- 按时间顺序组织成多维数组
def load_sensor_file(file_path):
data = []
with open(file_path, 'r') as f:
lines = f.readlines()
# 过滤无效行
valid_lines = [line.strip() for line in lines if line.strip()]
# 按时间点分组（每7行一组）
for i in range(0, len(valid_lines), 7):
time_point = []
for j in range(7):
if i+j < len(valid_lines):
values = [float(x) for x in valid_lines[i+j].split(',')]
time_point.append(values)
data.append(time_point)
return np.array(data)
2. 滑动窗口处理
时间序列分类通常需要将长序列分割为固定长度的子序列：
- 定义窗口大小和步长
- 使用滑动窗口生成多个样本
- 保持时间连续性
def create_sliding_windows(data, window_size, stride):
samples = []
n_samples = (len(data) - window_size) // stride + 1
for i in range(n_samples):
start = i * stride
end = start + window_size
samples.append(data[start:end])
return np.array(samples)
3. 数据标准化
不同维度的传感器数据可能具有不同的量纲，需要进行标准化：
- 计算每个维度的均值和标准差
- 对数据进行z-score标准化
- 保持训练集和测试集使用相同的标准化参数
def standardize_data(train_data, test_data=None):
mean = np.mean(train_data, axis=(0,1))
std = np.std(train_data, axis=(0,1))
train_data = (train_data - mean) / (std + 1e-8)
if test_data is not None:
test_data = (test_data - mean) / (std + 1e-8)
return train_data, test_data
return train_data
TimesNet模型适配
TimesNet模型最初设计用于时间序列预测任务，要用于分类任务需要进行以下调整：
1. 自定义数据加载器
继承基础Dataset类，实现传感器数据专用加载器：
class SensorDataset(Dataset):
def __init__(self, data, labels, window_size=128, stride=32):
self.data = data
self.labels = labels
self.window_size = window_size
self.stride = stride
# 生成滑动窗口样本
self.samples = []
self.sample_labels = []
for i in range(len(data)):
seq = data[i]
label = labels[i]
windows = create_sliding_windows(seq, window_size, stride)
self.samples.extend(windows)
self.sample_labels.extend([label]*len(windows))
def __len__(self):
return len(self.samples)
def __getitem__(self, idx):
sample = torch.FloatTensor(self.samples[idx])
label = torch.LongTensor([self.sample_labels[idx]])
return sample, label
2. 模型结构调整
TimesNet的编码器部分可以保持不变，只需修改最后的输出层：
class TimesNetForClassification(nn.Module):
def __init__(self, configs):
super().__init__()
self.timesnet = TimesNet(configs)
# 替换最后的预测层为分类层
self.classifier = nn.Linear(configs.d_model, configs.num_classes)
def forward(self, x):
# TimesNet编码
enc_out = self.timesnet(x)
# 全局平均池化
pooled = enc_out.mean(dim=1)
# 分类
logits = self.classifier(pooled)
return logits
训练流程优化
针对分类任务的训练需要调整损失函数和评估指标：
def train(model, train_loader, optimizer, criterion, device):
model.train()
total_loss = 0
correct = 0
for batch_x, batch_y in train_loader:
batch_x = batch_x.to(device)
batch_y = batch_y.to(device)
optimizer.zero_grad()
outputs = model(batch_x)
loss = criterion(outputs, batch_y.squeeze())
loss.backward()
optimizer.step()
total_loss += loss.item()
_, predicted = torch.max(outputs.data, 1)
correct += (predicted == batch_y.squeeze()).sum().item()
avg_loss = total_loss / len(train_loader)
accuracy = correct / len(train_loader.dataset)
return avg_loss, accuracy
实际应用建议
- 数据增强：考虑添加时间扭曲、随机缩放等增强方法提高模型鲁棒性
- 多尺度特征：结合不同窗口大小的特征提取
- 注意力可视化：利用TimesNet的注意力机制分析关键时间点
- 实时分类：优化滑动窗口策略实现实时分类
通过以上步骤，我们可以有效地将传感器数据适配到TimesNet模型中，实现高质量的时间序列分类任务。实际应用中，还需要根据具体数据特点和业务需求进行适当调整。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
