机器学习项目-智能鞋垫开发项目记录（自用）六

2025.2.9

提问：我的数据是这样的，有18列数据，代表了18个压力传感器随时间的测试值，一共大概有12000行数据，代表了12000个时间点，现在我想利用深度学习得出数据的特征，请问怎样操作，请给出详细步骤、代码和原理解释

回答：

好的，我现在要处理用户的问题，他有一个时间序列数据集，包含18列压力传感器的数据，12000个时间点，想用深度学习进行特征提取。我需要仔细分析他的需求，并结合之前的对话历史来提供合适的解决方案。

首先，用户之前已经询问过时间序列特征提取的步骤，现在提供了更具体的数据情况：18个传感器，12000个时间点。之前的回答已经涵盖了数据预处理、模型选择、训练等步骤，但需要针对多变量时间序列进行调整。

我需要考虑用户可能没有明确提到的需求。比如，他可能需要处理多变量之间的关系，或者希望特征能够捕捉传感器之间的相互作用。此外，用户可能对模型的可解释性有一定需求，或者后续的应用场景是什么，比如故障检测、预测等，但用户没有说明，可能需要假设。

接下来，我需要确保回答的结构清晰，步骤详细，并提供代码示例。同时，要解释每个步骤的原理，帮助用户理解为什么这么做。例如，数据预处理部分，归一化的原因，滑动窗口的作用等。

在模型选择方面，用户之前提到了CNN、LSTM和Transformer，现在需要针对多变量数据调整模型结构。比如，Conv1D需要正确设置输入形状，LSTM如何处理多变量输入，Transformer中的多头注意力机制如何捕捉传感器之间的关系。

还需要注意数据量的问题，12000行数据不算太大，可能需要数据增强或选择较轻量的模型结构，防止过拟合。此外，是否需要无监督学习，比如自编码器，还是有监督学习，但用户可能没有标签，所以可能需要无监督的方法。

在代码部分，要确保示例代码正确，并且有注释，方便用户理解。比如，数据加载、预处理、模型构建、训练和特征提取的代码片段。同时，要提醒用户调整超参数，如滑动窗口大小、批次大小等。

可能用户对评估特征提取效果的方法不太清楚，可以建议使用降维可视化或后续任务的表现来评估。此外，需要注意时间序列的验证方法，避免随机拆分，应该按时间顺序划分训练集和测试集。

最后，要总结关键点，提醒用户注意事项，如计算资源、超参数调优、模型解释性等，并给出扩展建议，比如使用更复杂的模型或结合领域知识。

需要确保回答逻辑清晰，覆盖所有必要步骤，同时避免过于技术化，让用户能够跟随操作。可能还需要检查是否有遗漏的步骤，比如数据探索性分析（EDA），虽然用户可能已经做过，但建议进行可视化，帮助理解数据特性。

总之，我需要将之前的通用步骤具体化到多变量压力传感器数据，提供详细的代码和解释，确保用户能够顺利实施特征提取，并理解每个步骤的意义。

针对您的多变量时间序列（18个压力传感器，12000个时间点）的深度学习特征提取，以下是完整的解决方案：

0. 数据理解

• 输入形状：(12000, 18)，即12000个时间步 × 18个传感器

• 目标：提取每个时间步的低维特征向量（例如128维），捕捉传感器间的时空关系

这句话的意思是说，我们想用一种方法来处理数据，这种方法可以做到以下两点：

1. 提取每个时间点的关键信息： 想象一下，你有一系列随时间变化的数据，比如每秒钟记录一次的温度、湿度等等。我们想从每一秒钟的数据中提取出最重要的信息，用一个简洁的向量来表示。这个向量就像一个“总结”，包含了该时间点数据的核心特征。由于信息被压缩了，所以这个向量的维度不会太高，比如只有128个数字，我们称之为“低维特征向量”。

2. 捕捉不同传感器之间的关联： 如果我们有多个传感器同时记录数据，比如多个温度传感器分布在不同位置。那么，除了每个传感器自身的变化，它们之间也可能存在相互影响，比如一个地方温度升高，可能会影响到其他地方的温度。我们希望提取的特征向量能够捕捉到这些传感器之间的时空关系，即它们在时间和空间上的相互作用。

为什么这样做？

• 降低数据维度： 原始数据可能非常庞大，包含大量冗余信息。提取低维特征向量可以减少数据量，提高后续处理的效率。

• 提取关键信息： 低维特征向量包含了数据中最核心的信息，可以更好地用于后续分析或建模。

• 捕捉时空关系： 捕捉传感器之间的时空关系可以帮助我们更好地理解数据的内在规律，从而做出更准确的预测或决策。

如何实现？

深度学习提供了一种有效的方法来实现这个目标。我们可以使用深度学习模型，例如循环神经网络（RNNs）或卷积神经网络（CNNs），来处理时间序列数据。这些模型可以自动学习数据中的复杂模式，提取出具有代表性的特征向量，并捕捉到不同传感器之间的时空关系。

举例说明

假设我们想预测未来一段时间内某个城市的空气质量。我们可以利用过去一段时间内多个空气质量监测站的数据，包括PM2.5、SO2、NO2等。每个监测站每小时记录一次数据，这就是时间序列数据。

我们可以使用深度学习模型来处理这些数据。模型会分析每个监测站的数据，提取出每小时的低维特征向量，捕捉该时间点空气质量的整体情况。同时，模型还会考虑不同监测站之间的空间关系，以及它们在时间上的变化趋势。最终，模型会输出一个包含丰富信息的特征向量，用于预测未来的空气质量。

总结

通过深度学习提取每个时间步的低维特征向量，捕捉传感器间的时空关系，可以帮助我们更好地理解和利用时间序列数据，从而解决各种实际问题。

---

1. 数据预处理

1.1 数据加载与可视化

python

复制

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 假设数据存储在CSV中
data = pd.read_csv('pressure_sensors.csv', header=None)  # shape (12000,18)
sensor_data = data.values

# 可视化部分传感器
plt.figure(figsize=(12,6))
for i in [0,5,10,15]:  # 随机选4个传感器
    plt.plot(sensor_data[:500, i], label=f'Sensor {i+1}')
plt.title("Sensor Data Samples")
plt.xlabel("Time Step")
plt.ylabel("Pressure Value")
plt.legend()
plt.show()

1.2 缺失值处理

python

复制

from sklearn.impute import KNNImputer

imputer = KNNImputer(n_neighbors=5)  # 用相邻5个点的均值填充
filled_data = imputer.fit_transform(sensor_data)

1.3 归一化

python

复制

from sklearn.preprocessing import RobustScaler  # 抗异常值

scaler = RobustScaler()
scaled_data = scaler.fit_transform(filled_data)  # shape (12000,18)

1.4 滑动窗口分割

python

复制

def create_sequences(data, window_size=60):
    X = []
    for i in range(len(data)-window_size):
        X.append(data[i:i+window_size])
    return np.array(X)

window_size = 60  # 捕捉1分钟模式（假设采样率1Hz）
X = create_sequences(scaled_data, window_size)  # shape (11940,60,18)

---

2. 模型构建（关键原理）

方案选择：使用CNN + LSTM混合模型

• CNN：捕捉局部传感器间的关系（空间模式）

• LSTM：捕捉时间动态变化

• 多头注意力：增强重要传感器的关注

2.1 模型架构代码

python

复制

from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Conv1D, LSTM, Dense, MultiHeadAttention, LayerNormalization, GlobalMaxPooling1D

# 输入层
inputs = Input(shape=(window_size, 18))  # (60,18)

# 分支1：CNN提取空间特征
x1 = Conv1D(filters=64, kernel_size=3, activation='relu', padding='same')(inputs)  # 每个时间步的18个传感器间卷积
x1 = Conv1D(filters=128, kernel_size=3, activation='relu', padding='same')(x1)

# 分支2：LSTM提取时间特征
x2 = LSTM(64, return_sequences=True)(inputs)
x2 = LSTM(128, return_sequences=True)(x2)

# 合并分支
merged = tf.keras.layers.Concatenate(axis=-1)([x1, x2])  # shape (60, 256)

# 注意力机制
attn = MultiHeadAttention(num_heads=4, key_dim=64)(merged, merged)
attn = LayerNormalization(epsilon=1e-6)(attn + merged)  # 残差连接

# 特征提取层
features = GlobalMaxPooling1D()(attn)  # 压缩时间维度，得到每个窗口的特征向量
features = Dense(128, activation='tanh')(features)  # 最终特征维度128

# 构建特征提取模型
feature_extractor = Model(inputs=inputs, outputs=features)
feature_extractor.summary()

架构原理：

1. Conv1D层：在传感器维度（18个）进行卷积，学习传感器间的局部空间关系

   • kernel_size=3 表示每次查看相邻3个传感器的关系

2. LSTM层：沿时间轴学习长期依赖

3. 注意力机制：自动学习不同时间点的重要性权重

4. GlobalMaxPooling：保留每个特征通道的最大响应，形成紧凑表示

---

3. 无监督训练

3.1 构建自编码器

python

复制

# 解码器部分
decoder_input = Input(shape=(128,))
d = Dense(60*128, activation='relu')(decoder_input)  # 上采样
d = tf.keras.layers.Reshape((60,128))(d)
d = LSTM(64, return_sequences=True)(d)
d = LSTM(18, return_sequences=True)(d)  # 输出形状(60,18)

# 自编码器
autoencoder = Model(inputs=inputs, outputs=d)
autoencoder.compile(optimizer='adam', loss='mse')

# 训练
history = autoencoder.fit(X, X,  # 输入输出相同
                         epochs=100,
                         batch_size=64,
                         validation_split=0.1)

3.2 训练曲线监控

python

复制

plt.plot(history.history['loss'], label='Training Loss')
plt.plot(history.history['val_loss'], label='Validation Loss')
plt.title('Autoencoder Training Progress')
plt.xlabel('Epoch')
plt.ylabel('MSE Loss')
plt.legend()
plt.show()

---

4. 特征提取

python

复制

# 使用训练好的编码器
features_all = []
for i in range(0, len(X), 256):  # 分批处理防止内存溢出
    batch = X[i:i+256]
    features = feature_extractor.predict(batch)
    features_all.append(features)

features_all = np.concatenate(features_all, axis=0)  # 最终形状 (11940,128)
print("Extracted features shape:", features_all.shape)

---

5. 特征后处理

5.1 可视化（t-SNE）

python

复制

from sklearn.manifold import TSNE

# 随机采样1000个点
sample_idx = np.random.choice(len(features_all), 1000, replace=False)
tsne = TSNE(n_components=2, perplexity=30)
tsne_results = tsne.fit_transform(features_all[sample_idx])

plt.scatter(tsne_results[:,0], tsne_results[:,1], alpha=0.6)
plt.title("t-SNE Visualization of Learned Features")
plt.show()

5.2 下游任务应用示例（分类）

python

复制

from sklearn.svm import SVC
from sklearn.model_selection import train_test_split

# 假设有标签数据y（例如设备状态）
X_train, X_test, y_train, y_test = train_test_split(features_all, y, test_size=0.2)

clf = SVC()
clf.fit(X_train, y_train)
print("Test Accuracy:", clf.score(X_test, y_test))

---

关键参数说明

参数	推荐值	作用
窗口大小	30-100	需覆盖关键物理过程周期
Conv1D filters	64-256	控制空间特征的复杂度
LSTM units	64-256	控制时间记忆容量
特征维度	64-256	平衡信息保留与降维

---

可能出现的问题与解决方案

1. 过拟合：添加Dropout层，减少模型容量

2. 训练不稳定：改用LayerNormalization，调整学习率

3. 传感器重要性差异：在注意力层后添加可解释性分析

4. 长序列处理：改用Transformer代替LSTM

---

扩展建议

• 多尺度特征：在CNN中使用不同kernel_size的并行卷积

• 物理约束：添加自定义损失函数（如传感器间关系约束）

• 实时处理：将模型转换为TensorFlow Lite格式部署

如果需要针对具体场景（如故障检测）调整模型结构，请提供更多业务背景信息！