AI大模型
关注
分享
扫一扫
文章平均质量分 70
码哝小鱼
具备服务器硬件虚拟化技术、容器技术和开源软件的部署维护技术，主要涉及的操作系统和开源技术为：centos、ubuntu、debain、银河麒麟、nacos、docker、docker-compose和kubernetes、LVS、Keepalived、haproxy、Prometheus+grafana(平台监控)、emqx、activeMQ、RocketMQ、kafka、zookeeper、zabbix、mysql、oracle、opentsdb、Etcd、postgresql、达梦数据库、人大金仓数据库、tdengine时序数据库、IoTDB、Mongodb、hadoop集群等；另外还具备
展开
-
deepseek离线迁移模型
在Ollama的模型存放目录下，有两个文件夹，一个叫blobs，另一个叫manifests。离线迁移模型，只需把相关的模型复制目录的对应目录下即可，也可备份整理ollama家目录。在Ollama的模型存放目录下，有两个文件夹，一个叫blobs，另一个叫manifests。chatbox可以兼容多个模型，只需按选择不同模型使用即可，7b比1.5b模型给出的结更精确，但需要更高的硬件资源。然后记录一下载的模型时间，然后把这个文件夹里所有这一时间的文件都复制出来，传送到目录服务器。模型介绍页的左上角找到这。原创 2025-02-23 08:46:31 · 971 阅读 · 0 评论 -
ollama.service服务配置说明
解释：最大模型数，同时可以加载最多几个模型（我三张显卡的情况 llama3 70B，和一个27B并行建议1-2）解释：模型加载后保留的时间，超过1小时，就卸载了，就要从新加载模型。解释：指定运行服务的用户，服务将以 ollama 用户的身份运行。解释：指定运行服务的用户组，服务将属于 ollama 用户组。解释：调用分散模式多显卡的情况处理多并发的情况下可以减少时间。解释：在多张显卡的情况下只用显卡0和显卡1进行运行服务。解释：最大线程数，同时允许的最大处理并非数。解释：设置服务停止后重新启动的时间间隔。原创 2025-02-09 16:10:54 · 2591 阅读 · 0 评论 -
Ollama容器+打造DeepSeek-R1-7B大模型
ollama run deepseek-r1:7b需要联网情况，下载完成后，就可以对话了。注意：内存越高，效果越好，但占用储存会更多。多GPU配置(A100/H100)至此，本地部署Ollama并运行。数据中心级多GPU集群。1.1 在线拉取镜像。1.2 导入离线镜像。原创 2025-02-09 16:09:28 · 1175 阅读 · 0 评论 -
deepseek图形化配置
推荐使用Chatbox美化交互界面，Ollama是一个开源项目，旨在让用户能够轻松地在其本地计算机上运行大型语言模型（LLM），是一个开源的大型语言模型服务。提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。选择模型提供方为【Ollama API】，URL填写：http://IP:11434。选择模型deepseek-r1:1.5b，点击保存即可开始对话！打开Chatbox，点击左下角【设置】→【模型】；原创 2025-02-08 17:19:24 · 796 阅读 · 0 评论 -
deepseek本地部署-linux
登录ollama下载网站https://ollama.com/download/linux，linux下有下载脚本。# ollama run deepseek-r1:1.5b需要联网情况，下载完成后，就可以对话了。其他的模型下载也是一样的，可以在这里找到，点进去后直接这里选择你要下载的模型，然后复制即可。如果需要Web或者客户端支持，可以查看GitHub里的推荐。正常来说，在OS系统下直接执行脚本即可。4.2.2输入命令下载运行1.5b版本。要是系统没有就自己创建。原创 2025-02-08 17:14:33 · 3925 阅读 · 1 评论