增量预训练网络安全大模型的一次尝试

一、背景

探索使用网络安全知识，对开源基模型进行增强，评估是否能使基模型在网络安全领域表现出更好地专业度。

项目基于云起无垠SecGPT开源项目，在hugeface开源数据集的基础上，增加了自有预训练数据，进行增量预训练。

参考链接：

https://github.com/Clouditera/secgpt

二、数据集准备

0x1：预训练数据

预训练使用“安全书籍，安全知识库，安全论文，安全社区文章，漏洞库”等等安全内容，

https://huggingface.co/datasets/w8ay/security-paper-datasets?row=0 

笔者增加了一份自己近10年以内的博客文章，

将上述格式转换为hugeface兼容格式，huggingface支持以下4种数据格式的数据集，只需要在load的时候设定格式就好了。

Data format	Loading script	Example
CSV & TSV	csv	load_dataset("csv", data_files="my_file.csv")
Text files	text	load_dataset("text", data_files="my_file.txt")
JSON & JSON Lines	json	load_dataset("json", data_files="my_file.jsonl")