- 博客(2)
- 收藏
- 关注
RSS订阅原创 Ubuntu20.04编译snowboy以及跑通样例demo
废话不多说，我们直入正题。我编译的时候用的是ubuntu20.04 python3.8版本首先从github上下载下来snowboy的源代码随后snowboy支持C++也支持python开发，下面直击要点的说明一下如何编译首先到文件目录下随后开始配置环境需要下载以下安装包,其中swig的版本号要大于3.10，不然后续可能会出现版本不兼容问题配置好环境后就可以开始进行编译了make在我第一次编译的时候遇到了两个问题，第一个报错如下。
2024-10-30 00:29:03
1378
1
原创 解决报错Error: timed out waiting for llama runner to start - progress 0.00 -
近期对ai大模型十分感兴趣，因此在学习使用ollama，但在此过程中遇到了在ubuntu 20.04中运行完 ollama run 模型名称的代码后，模型成功success的pull下来了，但是在run运行时一直在等待响应直到最后time out。在升级cuda版本后，很顺利的解决了这个问题。首先如果你运行的是大模型 例如llama3:80b等等，因为模型大，响应时间可能不够因此可以通过增加time out的时间来等待其响应，默认正常的time out时间是两分钟。
2024-10-25 00:12:21
4052
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人