qq1071643762的博客

70B大模型

企业考虑成本和数据隐私问题，会特别希望能在企业内部部署一套大模型，在企业内部直接调用，这样就能成本可控，数据也不会泄露，所以开源大模型是非常有前景的，目前来说Meta开源的Llama3是开源大模型中性能表现最好的，所以这节课先带大家来尝试使用Ollama来部署Llama3和nomic模型。这样，ollama的服务端就启动了，就可以接收模型的请求调用了，不过可能ollama部署了多个模型，所以请求调用时需要指定想要调用的是哪个模型.进入对应模型的首页，还可以选择要尝试的模型版本。