在使用ollama配置本地模型时,只支持gguf格式的模型,所以我们首先需要把自己的模型转化为bin格式,本文为paddle,onnx,pytorch格式的模型提供说明,safetensors格式比较简单请参考官方文档,或其它教程。
1.paddle2onnx
paddle需要在训练结束后将模型保存为onnx格式。具体代码略
2.onnx2bin
import onnx
import onnxruntime
import onnx2fst
# 加载 ONNX 模型
model = onnx.load("E:\\nlp\PaddleNLP-develop\examples\dialogue\dgu\model\intent\intent0704\model.onnx")
# 保存为二进制文件
onnx.save_model(model, "pytorch_model.bin"

最低0.47元/天 解锁文章
1527

被折叠的 条评论
为什么被折叠?



