命令行测试本地本地部署的大模型是否成功

ollama拉取部署的模型

测试LLM模型

curl http://localhost:11434/api/generate -d "{\"model\": \"qwen2.5:0.5b\",\"prompt\": \"who are you?\",\"stream\":false}"

看到有response就说明已经安装成功。

测试向量模型

curl "http://localhost:11434/api/embeddings" ^
--data "{""model"": ""shaw/dmeta-embedding-zh"", ""prompt"": ""天空是灰色的""}"