马斯克开源Grok，直接放出巨大的3140亿模型

大概在6个小时之前，也就是在我们睡熟的时候。

Grok开源了。

Grok是马斯克旗下XAI的大语言模型项目。在此之前，有一个在线的内测版，只有推特的订阅用户可以体验。

快来看一下新鲜出炉的Grok-1开源版。

从官网主页的大标题下面，可以知道Grok的两个特点。

• 超级大，拥有3140亿的参数规模。

• 使用专家混合模型（Mixture-of-Experts）

另外，还有一些信息。

模型的数据应该是截止于2023年10月。

项目遵循Apache2.0许可。

除此之外并没有太多介绍内容。

但是，仅 3140亿这一点，就已经足够震惊世人了。

时至今日，我们已经听过或者用过很多开源模型了。

但是他们开源的版本基本不是很大。

比如国外开源模型领头羊Llama，国内的Qwen等。

Llama模型有四个尺寸，分别是：

• Llama-7B：参数规模为70亿，是LLaMA模型中最小的版本。

• Llama-13B：参数规模为130亿，比Llama-7B大一倍。

• Llama-34B：参数规模为340亿，比Llama-13B大两倍半。

• Llama-65B：参数规模为650亿，是LLaMA模型中最大的版本

Qwen模型有六个尺寸，分别是：

• Qwen-1.8B：参数规模为18亿，是Qwen模型中最小的版本。

• Qwen-7B：参数规模为70亿，比Qwen-1.8B大四倍。

• Qwen-14B：参数规模为140亿，比Qwen-7B大一倍。

• Qwen-72B：参数规模为720亿，比Qwen-14B大五倍。

• Qwen-1.5B-72B：参数规模从1.5B到72B，提供更细粒度的选择。

可以看到，他们中最大的模型才720亿参数。

另外我们再来看看一些闭源模型

比如文心一言传言是2600亿参数。

OpenAI GPT3.5是1750亿参数。

Grok直接一把放出了3140亿参数的模型数。

无论开源闭源，这个参数量，都是相当巨大了。

大部分情况下，很多企业即便有这种规模的模型，也绝对不可能开源给大家用，比如...

马斯克觉得OpenAI应该改名CloseAI，今天他终于跨出实质性的一步，开源了自己的模型。

模型综合实力尚未可知，但是这种开源精神值得赞赏。希望围绕Grok能搞出一些有意思的东西。

另外提醒一下国内的某些公司，快，马斯克开源了，快去... 

然后立马宣布自主研发，遥遥领先！

另外，提醒一下老马，你能不能关心一下我们这种“弱势群体”，搞个mini版Grok啊！所有人都能玩的模型，才是好模型！