疯狂小伟哥的博客

自动更新docker安装的open webui。如果更新ollama只需把open-webui替换成ollama即可。也可以用下面代码实现后台监控并自动更新。

本文总结了 HuggingFace 上模型的常见量化格式，量化技术是 AI 模型部署的重要技术，它可以大大减小模型的大小和推理所需的显存。想要让大语言模型真正地走进普通人的生活，在每个人的手机上能运行起来，做到真正意义上的“普及”，那么量化技术以后肯定是必不可少的，因此掌握一些量化技术是非常有必要的。关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。

一、快捷部署。

通过以上步骤，您不仅能够在Linux平台上成功安装和配置Ollama，还能够灵活地进行更新和卸载。无论您是数据科学家、开发者，还是仅仅是对人工智能技术感兴趣的爱好者，Ollama都能为您提供一个强大而灵活的工具，让您在本地环境中轻松运行和测试大型语言模型。随着Ollama的不断更新和改进，定期更新您的Ollama安装是非常重要的。Ollama提供了一种简单的安装方法，只需一行命令即可完成安装，但是对于想要更深入了解和自定义安装的用户，我们也提供了手动安装的步骤。

将${inner_ip}替换成你本机IP（用hostname -I可查看）几行命令教你私有化部署自己的AI大模型，每个人都可以有自己的GTP。(ollama run gemma)安装谷歌gemma大模型。(ollama run qwen)安装阿里的qwen大模型。(ollama run llama2)安装Meta。第四步，正在启动WEBUI界面，大约5分钟后，第三步：使用Docker部署webUI页面。正常就可以打开访问属于你自己的大模型了。可以通过下面的命令查看日志。

ghcr.io 是 GitHub Container Registry 的域名。GitHub Container Registry 是 GitHub 提供的容器镜像注册表服务，允许开发者在 GitHub 上存储、管理和分享 Docker 镜像。它与 GitHub 代码仓库紧密集成，可以使用相同的权限管理、团队协作和版本控制工具来管理容器镜像。通过 GitHub Container Registry，开发者可以方便地将他们的容器镜像与代码仓库关联起来，这样就可以在同一个平台上管理代码和镜像。