厚积而薄发

CT-LLM 是一个 2B 的 LLM，在 1200B 的 token 上预训练，包括 800B 的中文 token、300B 的英文 Token、100B 的代码 token，以提高模型理解和处理中文的能力。CT-LLM 不仅在中文基准 CHC-Bench 上表现出色，还可以通过 SFT 熟练处理英语任务。与以往的 LLM 不同（主要在英语语料上训练，然后改编为其他语言），该 LLM 以中文为主。2B的中文LLM：CT-LLM大规模的预训练中文语料（800B）：MAP-CC。