【炼丹手记】在ModelArts上使用AI芯片Ascend训练基于MindSpore的DeepFM

论文

DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
https://arxiv.org/abs/1703.04247

CTR预估是目前推荐系统的核心技术，其目标是预估用户点击推荐内容的概率。
在CTR预估任务中，特征非常重要。
这篇论文提出的DeepFM模型是一种可以从原始特征中抽取到各种复杂度特征的端到端模型，可以有效避免人工特征工程的困扰。

数据集

criteo是非常经典的点击率预估比赛数据集。
下载地址如下：
http://go.criteo.net/criteo-research-kaggle-display-advertising-challenge-dataset.tar.gz

数据集预处理

准备数据和代码

把准备好的数据集从OBS复制到ModelArts。

import moxing as mox
mox.file.copy_parallel("obs://dataset-city/recommend-criteo/data", "/cache/criteo_ori")

把准备好的代码也从OBS复制到ModelArts。

mox.file.copy_parallel("obs://2021-ms-models/deepfm/", "/home/ma-user/work/deepfm")

预处理

用下面的命令，进行数据预处理。

python -m src.preprocess_data --data_path=/cache/criteo_ori/ --dense_dim=13 --slot_dim=26 --threshold=100 --trai