特征工程——Tabular Data Features & multimodal features

一、前言

机器学习时期，要花费大量的时间在特征设计上，好的输入数据可以让训练事半功倍。而有了深度学习后，神经网络可以自动实现特征提取，解放了手工(理论上是这样，实际也是要进行特征筛选的，因为在应用中特征一般都很大，几千万或上亿，如果输入网络的特征过多，则模型参数量就会十分巨大，模型训练起来就会十分困难)。

二、Tabular Data Features(表格数据特征)

• 数值型数据(例如用户ID，年龄)等，直接使用或划分为n个bin区间(连续形式数据离散化)
• 类别型数据，one-hot编码/multi-hot编码
• 时间类型数据
• 特征交叉

注：此类特征使用时一般要先输入embedding层获得潜入向量，再输入神经网络

三、multimodal features

多模态特征被馈送到不同的模态编码器中，用来提取表征。多模态编码器是其他领域中使用的通用架构，例如图像中的ViT，文本中的Bert……。

Image/Video Features

对于图片、视频类型数据，基本都是通过预训练出一个神经网络的模型，获取相应的向量表达。比如可以通过Image Net里面获取一个预训练好的模型，将我们的图片样本输入到模型进行训练，然后拿到hidden_layer里面的最后一层作为当前图片样本的特征数据。
 

四、总结

• 对于文本，图片，视频类型数据，可以通过预训练好的模型获取我们所需要的数据信息。
• 而对于Tabular类型的数据，就需要手动进行构造特征工程，使得模型训练学习到更多维度的信息