数据清洗步骤

1 去频次 awk -F"\t" '{if($2>=500) print $1}' file > file_new

2 clean_data.sh 需要修改待清洗文件 与生成文件

3 给清洗后的文件加上class    sed 's/^/CLASS-应用:&/g' test.file > new_file

4 合成corpus generate_corpus.sh 需要修改位置pat与slot和output