ljp1919的专栏

如何优雅地下载huggingface上模型文件？

概述根据官网文档的描述，其中 dim表示沿着对应的维度计算余弦相似。那么怎么理解呢？首先，先介绍下所谓的dim:a = torch.tensor([[ [1, 2], [3, 4] ], [ [5, 6], [7, 8] ] ], dtype=torch.float)print(a.shape)"""[ [ [1, 2], [3, 4] ], [ [5, 6], [7, 8] ]]"""假设

0.引言Pytorch 创建用以输入到模型的数据的一般流程如下：创建一个 Dataset 对象，实现__getitem__()和__len__()这两个方法，会用到 transform 对数据进行扩充；创建一个 DataLoader 对象，该对象可以对上述Dataset对象进行迭代遍历DataLoader对象，将样本和标签加载到模型中进行训练。在上述流程中会涉及 Dataset 、 Dataloader 、Sampler 和 TensorDataset，以下将逐一介绍。1. D

简介近期从事模型推理加速相关项目，所以抽空整理最近的学习经验。本次实验目的在于介绍如何使用ONNXRuntime加速BERT模型推理。实验中的任务是利用BERT抽取输入文本特征，至于BERT在下游任务(如文本分类、问答等)上如何加速推理，后续再介绍。PS：本次的实验模型是BERT-base中文版。环境准备由于ONNX是一种序列化格式，在使用过程中可以加载保存的graph并运行所需要的计算。在加载ONNX模型之后可以使用官方的onnxruntime进行推理。出于性能考虑，onnxruntime

背景用BERT对句子进行向量化实施TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。pip install bert-serving-server # serverpip install bert-serving-client # client, independent of `bert-serving-server`在server安装完后，启动服务，比如：bert-serving-start -mod

问题描述pytorch 镜像位置：https://hub.docker.com/r/pytorch/pytorch/tags拉取镜像：docker pull pytorch/pytorch:1.5-cuda10.1-cudnn7-runtime查看本地现有镜像清单：创建一个容器：docker run --gpus all -td --name=liujiepeng_pytorch pytorch/pytorch bash注意：其实这里有两个repository名字相同，tag名不同的版

背景生产环境多数是使用java或者C++，本文将介绍在C++中加载PyTorch模型，执行生产环境下的推理。因此，本文的重点在于C++中如何加载模型，并进行推理预测操作，而不是模型的设计和训练。可以查看官方提供的说明 https://pytorch.org/tutorials/advanced/cpp_export.html#TorchScript简介TorchScript是PyTorc...