通过Ollama 使用Gemma 模型


theme: github

Gemma 模型的出身

要运行Gemma模型,需要将ollama版本升级到>0.1.26,通过运行ollama的安装。

由于Gemma模型(2b和7b)的大小,其质量将严重依赖于训练数据。从kaggle参考中我们可以读到,它们是在6万亿个令牌上训练的,包括:

  • 网络文档:多样化的网络文本确保模型接触到广泛的语言风格、主题和词汇。主要是英语内容。
  • 代码:让模型接触代码有助于其学习编程语言的语法和模式,从而提高其生成代码或理解代码相关问题的能力。
  • 数学:在数学文本上进行训练有助于模型学习逻辑推理、符号表示,并解决数学查询。

信息检索的使用案例

由于ollama为在本地计算资源上运行LLM提供了一个方便的框架。私人LLM的一个使用案例是根据提供的文档回答问题。

为了使用Gemma 7bn模型执行此任务,需要下载模型的指示版本,这种情况下是从ollama:

``` ollama run gemma

```

模型的其他版本可以从Gemma的标签列表中下载。

在与Mixtral进行此任务的比较中,模型的限制变得可见。这当然是由于70b对7b参数模型的不公平比较。然而,当Gemma 7b模型被用来从文档中检索信息时,它仍然可以执行较简单的搜索任务(检索信息片段,如值或日期),但无法从文档中总结部分,其中它只是声明文档不包含请求的信息。

限制和最佳实践

Gamma在文档信息检索上的行为突显了限制:

  • 由于使用的训练数据,理解上下文
  • 需要在提示中提供更多的上下文来对抗任务复杂性
  • 事实正确性可能会有问题

这个模型的理想使用案例是在文本生成,聊天中。文本总结仍然可能受到上述限制的阻碍。

Ge

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值