Mellum-4b-base 是 JetBrains 首个开源的大型语言模型(LLM),专为代码相关任务优化。
JetBrains 在 Hugging Face 平台上发布了其首个开放 AI 代码生成模型 Mellum。该模型专为代码补全任务设计,支持多种编程语言,如 Java、Python 和 C++ 等,目前已集成到 JetBrains AI 助手中。该 LLM 拥有 40 亿参数,使用 256 个 Nvidia H200 GPU 在 20 天内训练了超过 4 万亿个 token(约 1200 亿行代码)。Mellum 采用 Apache 2.0 许可证,使用了 GitHub 代码和英文维基百科等许可数据集,适用于学术和商业用途。
JetBrains 强调 Mellum 的集成潜力,可应用于开发者工具、编码助手、研究和教育领域,而非通用 AI 应用。然而,该模型需要针对特定任务进行微调,无法直接使用。JetBrains 提供了针对 Python 的微调模型示例供实验使用,但这些模型不适用于生产环境。
用户需注意,Mellum 可能会反映公共代码库中的偏见,且不保证输出的安全性或无漏洞。