教你在FydeOS上部署本地AI

        复制指令安装ollama

sudo docker run --restart always -d -v /var/lib/ollama:/root/.ollama -p 8005:11434 --name ollama ollama/ollama

        接下来我们需要一个客户端,FydeOS使用Chromium作为浏览器,使用谷歌插件,国内无法访问,但是我们可以进入这个链接下载手动安装。

        我们需要手动下载那个CRX结尾的文件,接下来点击浏览器的三个点 → 扩展程序 → 管路扩展程序,直接把下载好的扩展拖进浏览器里的扩展页面就可以了。

        进去的时候是没有检测到的,手动把端口改为8005,后续的语言可以在设置里更换为中文,把搜索引擎换成百度,你就可以用了;当然,我前文介绍了如何部署SearXNG,你可以使用SearXNG作为搜索引擎。

        我们需要下载一个模型使用,设置有个“管理模型”,点击添加,去ollama官网找一个模型名字,复制一下,由于FydeOS不能使用N卡跑AI,我选择下载一个CPU可以跑的小模型,一般大小是0.6b左右,我使用Qwen3这个模型。

        还是只能一个字一个字地吐出来,不过这个扩展可以使用API,如果你不想登录FydeOS,但是又想要客户端使用API,可以试试这个。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值