在Ubuntu20.04上面安装完RTX4060的Nvidia Cuda和TensorRT环境后,就开始跑些大模型看看。下面是安装使用Ollama的过程:
安装Ollama:
curl -k https://ollama.com/install.sh | sh
执行上面命令,有如下打印:
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0>>> Downloading ollama...
100 10975 0 10975 0 0 13034 0 --:--:-- --:--:-- --:--:-- 13034
######################################################################## 100.0%#=#=-# #
######################################################################## 100.0%
>>> Installing ollama to /usr/local/bin...
[sudo] password for stxinu:
>>> Crea