使用LM Studio私有化部署模型（注重隐私）

LM Studio一个国外的软件，免费但是闭源。使用需谨慎，当然也可能是我。。。

1.官网下载所需版本，自行安装。不过多赘述。

2.启动后打开例：C:\Users\dell下的.lmstudio文件夹以及安装位置的LM Studio。打开【高级安全 Windows Defender 防火墙】。配置以下入站出站规则。

 

 

禁用完再次打开runtime无法出现东西即是配置完毕。 

3.修改models存储目录,下载模型文件。

例：gguf文件放在E:\LM Models\Models\gguf目录下。就配置为E:\LM Models。

国内镜像网站搜索模型下载到上方根目录。lmstudio中加载出就可以运行了。