ViT-L-14.pt下载load checkpoint from xxx

博客介绍了stable diffusion反推提示词出现特定提示时的处理办法,需将ViT-L-14.pt模型安装至sd-webui-aki-v4.cache\\clip\\目录,并给出了该模型的下载链接。
部署运行你感兴趣的模型镜像

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型,相比 3.0 版本,它提升了图像质量、运行速度和硬件效率

RuntimeError Traceback (most recent call last) Cell In[4], line 1 ----> 1 model, preprocess, tokenizer = loki.utils.load_model(model_path, device) File e:\VSCodeVenv\loki_env\lib\site-packages\loki\utils.py:32, in load_model(model_path, device) 25 def load_model( 26 model_path: str, 27 device: Union[str, torch.device] 28 ) -> Tuple[torch.nn.Module, callable, callable]: 29 “”" 30 Load pretrained OmiCLIP (COCA ViT‑L‑14) model, its image preprocess, and tokenizer. 31 “”" —> 32 model, preprocess = create_model_from_pretrained( 33 “coca_ViT-L-14”, device=device, pretrained=model_path 34 ) 35 tokenizer = get_tokenizer(“coca_ViT-L-14”) 36 model.to(device).eval() File e:\VSCodeVenv\loki_env\lib\site-packages\open_clip\factory.py:452, in create_model_from_pretrained(model_name, pretrained, precision, device, jit, force_quick_gelu, force_custom_text, force_image_size, image_mean, image_std, image_interpolation, image_resize_mode, return_transform, cache_dir, **model_kwargs) 432 def create_model_from_pretrained( 433 model_name: str, 434 pretrained: Optional[str] = None, (…) 447 **model_kwargs, … –> 311 raise RuntimeError(error_str) 312 pretrained_loaded = True 313 elif has_hf_hub_prefix: RuntimeError: Pretrained weights (E:\VSCodeProjects\Loki-main\dataasic_usage\demo_data\checkpoint.pt) not found for model coca_ViT-L-14. Available pretrained tags ([‘laion2b_s13b_b90k’, ‘mscoco_finetuned_laion2b_s13b_b90k’]. 以上代码是我在运行“model, preprocess, tokenizer = loki.utils.load_model(model_path, device)”这条指令时出现的错误,我的代码执行顺序为: data_dir = ‘E:\VSCodeProjects\Loki-main\data\basic_usage\demo_data’ model_path = os.path.join(data_dir, ‘checkpoint.pt’) device = ‘cpu’ model, preprocess, tokenizer = loki.utils.load_model(model_path, device) 根本问题没有为模型匹配到权重文件,然后我注意到了一点“Available pretrained tags ([‘laion2b_s13b_b90k’, ‘mscoco_finetuned_laion2b_s13b_b90k’].”我很好奇,错误信息里没有任何地方提示要用到这两个标签之一,我完全按照要求去执行,怎么会报错呢?需要你帮助我顺利跑通代码
09-19
### 关于 ViT-L-14.pt 预训练模型文件 ViT-L-14.pt 是 Vision Transformer (ViT) 架构中的 Large 版本,具有 14x14 的补丁尺寸。该模型由 Google 提出,在2020年首次引入了将 Transformer 应用于图像分类的任务中[^1]。 #### 文件说明 此 `.pt` 文件代表 PyTorch 格式的预训练权重保存文件。它包含了已经过大量数据集(通常是 ImageNet 或其他大型视觉数据集)预先训练过的参数集合。对于开发者而言,可以直接加载这些权重来执行迁移学习、微调或其他下游任务。 #### 主要特点 - **全局感受野**:由于采用了自注意力机制而非卷积操作,使得 ViT 能够更好地捕捉整个图片的信息而不局限于局部区域。 - **良好的可扩展性**:当增大模型规模时,性能会持续改善;这意味着更大的版本如 ViT-Large 可能提供更好的准确性。 - **较低的资源需求**:相较于传统 CNN 方法,在某些情况下可以减少所需的计算量并提高效率。 为了使用这个特定配置下的预训练模型,通常可以通过 Hugging Face Transformers 库轻松获取: ```python from transformers import ViTFeatureExtractor, ViTForImageClassification import torch from PIL import Image import requests url = 'https://huggingface.co/timbrooks/inception-vit-large-patch14-224-laion400m-eval/raw/main/pytorch_model.bin' model_name_or_path = "nateraw/vit-base-beans" feature_extractor = ViTFeatureExtractor.from_pretrained(model_name_or_path) model = ViTForImageClassification.from_pretrained(model_name_or_path) image_url = "http://images.cocodataset.org/val2017/000000039769.jpg" image = Image.open(requests.get(image_url, stream=True).raw) inputs = feature_extractor(images=image, return_tensors="pt") with torch.no_grad(): outputs = model(**inputs) logits = outputs.logits predicted_class_idx = logits.argmax(-1).item() print(f"Predicted class: {model.config.id2label[predicted_class_idx]}") ``` 上述代码片段展示了如何利用 `transformers` 库下载并应用一个基于 ViT 的预训练模型来进行简单的图像分类预测。请注意实际使用的模型名称可能有所不同,具体取决于所选的预训练检查点。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值