chenlei456的博客

不同的量化版本精度不同，例如Q2_0的模型文件最小，但模型的精度比Q4_0、Q8_0都更低，Q2_k跟Q2_0的区别是k是0的改进版，提供了另一个优化策略，在两者模型大小差不多的情况下，精度更高一点，后面Q2_k跟着的S、L、M、XL，应该就是跟衣服的码数差不多的意思，你选的越大对你的电脑的硬件要求就更大，F32就是最好的精度，IQ4_XS是电脑内存非常有限才选择。理论上这样是可行的，但是huggingface是国外的网站，每次我进行这样操作的时候，都会出现连接超时，并没有成功过。

将./model.gguf换成自己的模型文件地址，最好是吧Modelfile文件跟model.gguf放在一起。将test_model改成自己想要为这个模型取得名字，如图所示。./Modelfile 就是自己的Modelfile文件路径。

它提供了丰富的预训练模型库，涵盖了从文本到图像、语音、视频等多种类型的模型，帮助开发者和研究人员快速构建和部署机器学习应用。除了模型库，Hugging Face 还提供了强大的数据集管理工具 Datasets，使得机器学习中的数据集处理更加高效。平台还拥有一个模型共享和协作的社区，用户可以上传自己的模型与代码，分享成果，进行协作研究。将modeldir和yourdir，分别替换成你要下载的model地址和你自己想要把模型下载在哪个本地地址。需要输入自己的huggingface的token。

在 Docker.Installer.InstallWorkflow.d__30.MoveNext() 位置 C:\workspaces\main-merges\src\github.com\docker\pinata\win\src\Docker.Install。刚开始进入可能要设置账号密码什么的，这个容器完全是本地化的东西，自己进行设置就行，第一次账号密码设置默认是管理员了。就是将.exe文件放在你的安装路径里面，所以导致报错，切记不能将.exe文件放在你的安装路径里面。要登陆的时候跳过登录就行。