大语言模型之十二 SentencePiece扩充LLama2中文词汇

大语言模型的发展潜力已经毋庸置疑了，如何让中文大语言模型更适合中小公司使用这是一道难题。在模型的选择上我们倾向于选择国外的LLama或者BLoom之类的，而不是百川之类的中文大模型，原因在于从基建到框架到数据国外的开源资料非常多，比如Huggingface Transformer、微软的DeepSpeed、meta的LLama、Pytorch，Google的colab、TensorFlow、BERT，这些公司提供了大量开源的技术工具以及成果。
国外的人才密度高，引领着大语言的发展，所以从国外优秀的开源大语言模型入手是非常不错的途径，减小了学习成本，也减少了公司的使用成本。
但是国外主要是英语系为主，对中文支持不是特别理想，比如原版LLaMA模型的词表大小是32K，LLaMA词表中的中文token比较少（只有几百个，常用汉字都有三千个）。LLaMA 原生tokenizer词表中仅包含少量中文字符，在对中文字进行tokenzation时，一个中文汉字往往被切分成多个token（2-3个Token才能组合成一个汉字），显著降低编解码的效率。
我试过源码中文LLama的推理，效果差很多，但是从头训练又是个庞大的工程，预训练数据集动辄几个T，成本太高，所以在现有优秀的模型基础上扩充中文词汇以及中文训练集以更好支持中文场景是个不错的选择。值得一提的是多语言模型（如ÿ