Safetensors，高效安全易用的深度学习新工具

大家好，本文将介绍一种为深度学习应用提供速度、效率、跨平台兼容性、用户友好性和安全性的新工具。

Safetensors简介

Hugging Face开发了一种名为Safetensors的新序列化格式，旨在简化和精简大型复杂张量的存储和加载。张量是深度学习中使用的主要数据结构，其大小会给效率带来挑战。

Safetensors结合使用高效的序列化和压缩算法来减少大型张量的大小，使其比pickle等其他序列化格式更快、更高效。这意味着，与传统PyTorch序列化格式pytorch_model.bin和model.safetensors相比，Safetensors在CPU上的速度快76.6倍，在GPU上的速度快2倍。

 使用Safetensors的好处

Safetensors具有简单直观的API，可以在Python中序列化和反序列化张量。这意味着开发人员可以专注于搭建深度学习模型，而不必在序列化和反序列化上花费时间。

可以用Python进行序列化，并方便地使用各种编程语言和平台（如C++、Java和JavaScript）加载生成的文件，这样就可以实现在不同的编程环境中无缝共享模型。

Safetensors针对速度进行了优化，可以高效处理大型张量的序列化和反序列化，因此它是使用大型语言模型的应用程序的绝佳选择。

它混合使用了有效的序列化和压缩算法，以减小大型张量的大小，与其他序列化格式（如pickle）相比，性能更快、更高效。

为了防止序列化张量在存储或传输过程中出现损坏，Safetensors使用了校验和机制。这保证了额外的安全性，确保存储在Safetensors中的所有数据都准确可靠。此外，它还能防止DOS攻击。

在使用多个节点或GPU的分布式环境中工作时，只在每个模型上加载部分张量是很有帮助的。BLOOM利用这种格式在8个 GPU上加载模型仅需45秒，而普通PyTorch加权则需要10分钟。

使用