Batched output tensor's 0th dimension does not equal the sum of the 0th dimension sizes of the input

最新推荐文章于 2024-02-21 00:26:30 发布
原创 最新推荐文章于 2024-02-21 00:26:30 发布 · 973 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在部署GPU版的TensorFlow Serving服务时，遇到关于batch输入的问题。通过调整配置，关闭了enable_batching选项，成功解决了输入输出不一致的问题，确保服务能够正常运行。
部署运行你感兴趣的模型镜像

最近在部署GPU版的Tersorflow_Serving 服务，遇到这个问题，经过查询，是规定是否可以batch输入的时候，我设置为了TRUE.

docker run -p 8503:8503 \
  --mount type=bind,source=/root/tfserving/models,target=/models \
  -t --entrypoint=tensorflow_model_server tensorflow/serving:1.9.0-devel-gpu \
  --port=8503  \
  --enable_batching \  #其实这个不需要，所以删除了就好
  --model_name=saved_model.pb --model_base_path=/models

应该是输入输出不一致，输出是按照batch输出，不用batch ，按单个输出

docker run -p 8503:8503 \
  --mount type=bind,source=/root/tfserving/models,target=/models \
  -t --entrypoint=tensorflow_model_server tensorflow/serving:1.9.0-devel-gpu \
  --port=8503  \
  # --enable_batching \ 其实这个不需要，所以删除了就好
  --model_name=saved_model.pb --model_base_path=/models

这样就好了

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

AutoModelForQuestionAnswering使用: Some weights of Qwen2ForQuestionAnswering were not initialized
ZJQ的博客
05-26 175
摘要（150字）： 加载Qwen2-5.3B模型进行问答任务时，部分权重（如qa_outputs层）因预训练模型与问答结构不匹配而被随机初始化，需通过微调使模型适应答案定位。解决方案包含：1）预处理SQuAD数据集，标注答案起止位置；2）配置TrainingArguments进行3轮微调；3）测试时解码模型输出的start/end_logits获取答案片段。关键点在于预训练模型缺乏问答专用层，必须通过下游任务训练才能有效提取答案。代码需补充torch导入，并注意最大序列长度限制（384token）。微调后的
AutoModelForSequenceClassificatio使用 ：some weights of Qwen2ForSequenceClassification were not initi
最新发布
ZJQ的博客
05-26 114
模型加载警告显示Qwen2预训练模型的分类头权重未初始化。这是由于原始模型为语言建模设计，而序列分类任务需要额外的分类层。解决方案：1) 直接使用但预测可能不准确；2) 推荐进行下游任务微调。示例代码展示了如何微调模型并保存，微调后预测效果更佳。该警告属正常现象，通过任务适配训练可解决，直接使用未微调模型可能导致随机预测结果。
torch的tensor，在用loss = criterion(outputs,label)，dimension specified as 0 but tensor has no dimensions
weixin_41529093的博客
09-05 1828
仅作为记录，大佬请跳过。 torch.tensor([]) 里面加上中括号，即可。 展示 参考 传送门
MindSpore求导传入sens值时infer报错For ‘MatMul‘, the input dimensions
skytttttt9394的博客
07-17 365
执行MindSpore用例报错时，要善于利用报错信息去分析问题，也可以多看看官方教程。
RuntimeError: invalid argument 4: Input tensor must have same dimensions as
大鱼的博客
01-02 7922
在使用scatter_的时候，出现了这个问题 这个问题纠结了挺久，后来发现是自己给自己挖的坑，因为我们可以看一下scatter_这个函数 scatter_(int dim, Tensor index, Tensor src) 这个方法要求我们第三个参数为tensor，然后我将数字改成了Tensor就出现了 这个错 原来是自己很蠢，其实还有一个形式 scatter_(int dim, Te...
Pytorch遇到的错误及解决方法
zx93的博客
09-15 3807
Pytorch遇到的错误及解决方法
“ValueError: Sum of input lengths does not equal the length of the input dataset!”
ZacharyGz的博客
12-18 2156
在 PyTorch 中，当你想把一个大的数据集划分为几个小的子集（例如训练集、验证集和测试集）时，你需要确保这些子集的长度之和等于原始数据集的长度。例如，如果你的原始数据集有 1000 个样本，你想划分为训练集和验证集，那么这两个子集的长度之和也必须是 1000。如果你需要从一个大的数据集中划分，确保划分的大小之和等于原始数据集的大小。这个例子中，假设你想要将数据集划分为 80% 训练集，10% 验证集，和 10% 测试集。或类似的函数来划分数据集时，划分的子集总长度与原始数据集的长度不匹配。
数据读取错误：RuntimeError: The size of tensor a (3) must match the size of tensor b (4) at non-singleton
SZ170110231的博客
02-21 2189
RuntimeError: The size of tensor a (3) must match the size of tensor b (4) at non-singleton dimension 0
【已解决】RuntimeError: Expected 3D (unbatched) or 4D (batched) input to conv2d, but got input of size
BetrayFree的博客
11-13 1万+
再说一下这样做的问题：对于cv的网络来说，至少在这个网络中输入的是x，也就是初始特征，对于图来说初始特征一般是这样的【个数，通道，长，宽】，一般的是像素表示长和宽，不过这不重要，重要的是我们在这里可以和明显的看到是需要四个维度的，但是为什么说三个也可以呢？我们可以看到官方文档对于conv1d和conv2d的解释，也就是输入和输出是有限制的，自然而然的也应该有两种办法：1、改输入；因为输入的时候肯定是符合初始的特征格式【个数，通道，长，宽】的呀，哦，我们发现，我们为了方便中间的处理做了这样一个操作。
【报错解决】ValueError: batch length of `text`: xx does not match batch length of `text_pair`: xx.
weixin_46087812的博客
01-21 1517
错误样例输入和输出 样例代码如下： from transformers import GPT2Tokenizer,GPT2Model tokenizer = GPT2Tokenizer.from_pretrained('gpt2') model = GPT2Model.from_pretrained('gpt2') special_tokens_dict = {'cls_token': '<CLS>'} num_added_toks = tokenizer.add_special_tokens(
使用pytorch时遇到的问题汇总(一)
赵凯月的博客
04-18 2万+
1、报错TypeError: unhashable type: ‘numpy.ndarray’ 原因：在将pytorch的longTensor转为numpy，并用于dict的key的时候，会出现这样的错误。其实程序输出已经是int了，但是还是会被认为是ndarray。 解决：在原来的基础上加上.item() classId = support_y[i].long().cpu().detach()....
pytorch训练模型遇到的问题
qq_33343450的博客
10-22 6898
pytorch训练模型遇到的问题1、AttributeError: 'DataParallel' object has no attribute 'fc'2、TypeError: zip argument #122 must support iteration 1、AttributeError: ‘DataParallel’ object has no attribute ‘fc’ 在 pytorch 多GPU训练下，存储 整个模型 （ 而不是model.state_dict() ）后再调用模型可能会遇到
pytorch的问题总结
2301_77569962的博客
07-07 1210
2 当不需要计算生成器的梯度，因此在使用生成数据计算辨别器时使用.detach()作为输入数据，这样就对当前图进行拆分，返回一个新的从当前图中分离的 Variable，返回的 Variable 永远不会需要梯度.参考网址：https://blog.youkuaiyun.com/u011276025/article/details/76997425。这句返回的已经不是原始的m了，而是一个DataParallel，原始的m保存在DataParallel的module变量里面。如果不重新初始化，会有报错。
window pytorch unet代码学习之random_split
guyuezunting的专栏
07-14 2574
先看看调用 train, val = random_split(dataset, [n_train, n_val]) def random_split(dataset, lengths): r""" Randomly split a dataset into non-overlapping new datasets of given lengths. Arguments: dataset (Dataset): Dataset to be split .
pytorch 数据集划分
程序员-10086的博客
12-21 2097
pytorch 数据集划分 pytorch 提供了一个可用于划分Dataset的简单接口。 如下： def random_split(dataset, lengths, generator=default_generator): r""" Randomly split a dataset into non-overlapping new datasets of given lengths. Optionally fix the generator for reproducible r
pytorch报错： invalid argument 0: Sizes of tensors must match except in dimension 0.
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
11-30 4075
这个问题是在dataloader遇到的，网上一般是数据的维度不同，但我这里其实是最后一份数据和之前的数据比数量不足，所以凑不够一个batch，所以我的做法是加入drop_last=True意思是如果数据不够就舍弃最后一个batch。 ...
使用pytorch时遇到的问题汇总
热门推荐
vivian_ll的博客
08-09 4万+
遇到问题： embedding的时候遇到 数据加载的时候遇到TypeError: 'int' object is not callable 问题：数据不是Tensor类型的而是np.array或其他类型的。 解决： tensor = torch.LongTensor(data_x) data_x = autograd.Variable(tensor) tensor = torch.Long...
python batch_size_pytorch dataloader 取batch_size时候出现bug的解决方式
weixin_34297395的博客
02-02 1322
1、RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 0. Got 342 and 281 in dimension 3 at /pytorch/aten/src/TH/generic/THTensorMoreMath.cpp:13332、RuntimeError: invalid a...
llamafactory One of the subprocesses has abruptly died during map operation.
04-02
<think>好的，用户在使用Llamafactory时遇到了子进程在map操作期间突然终止的问题，需要帮助解决。首先，我得分析可能的原因，然后提供相应的解决方案。 可能的原因有几个方面。首先，内存不足可能是导致子进程崩溃的常见原因。特别是在处理大数据集时，每个子进程可能会占用较多内存，如果系统内存不足，操作系统可能会终止进程。这时候需要检查内存使用情况，考虑减少进程数量或优化数据批次大小。 其次，子进程可能因为未捕获的异常而崩溃。例如，在数据处理过程中出现错误，如果没有适当的异常处理机制，子进程可能会直接终止。这时候需要查看错误日志，找到具体的异常信息，并在代码中添加try-except块来捕获和处理异常。 另外，资源限制也可能导致问题。比如，系统对进程数、打开文件数或CPU使用率有限制，特别是在Linux系统下，ulimit设置可能会影响子进程的运行。用户需要检查这些系统限制，并适当调整。 还有可能是Llamafactory本身的bug或与依赖库的版本不兼容。这时候需要确保所有依赖库都是最新版本，或者查看官方文档和问题追踪系统，看看是否有已知的问题和修复方法。 针对这些问题，我应该分步骤给出解决方案。首先是检查错误日志，因为日志通常会提供具体的错误信息，帮助定位问题。然后是优化内存使用，比如调整批次大小或使用内存映射文件。接着处理异常，确保子进程能够捕获并记录错误，而不是直接崩溃。调整系统资源限制，增加可用资源。最后，更新依赖库和框架，确保没有已知的兼容性问题。 此外，用户可能需要使用subprocess模块的正确方法来管理子进程，比如使用check_call或check_output，并确保超时设置合理，避免进程长时间挂起。同时，使用内存分析工具如tracemalloc来监控内存使用情况，也是有效的排查手段。 总结起来，需要系统地排查可能的原因，逐步验证每个可能性，并提供具体的操作步骤，帮助用户解决问题。同时，提醒用户参考相关文档和社区资源，以获取更多支持。</think>在使用Llamafactory进行并行计算时遇到子进程终止的问题，可能由内存不足、进程异常中断或资源限制导致。以下是分步骤解决方案： ### 1. 检查错误日志 通过`try-except`捕获子进程异常并记录日志： ```python from subprocess import check_output, CalledProcessError import logging try: output = check_output(["python", "data_mapper.py"], timeout=60) except CalledProcessError as e: logging.error(f"子进程异常退出码 {e.returncode}\n错误输出：{e.output.decode()}") except TimeoutExpired: logging.error("子进程执行超时") ``` ### 2. 优化内存使用 在`dataset.map()`中配置参数： ```python dataset.map( function=process_data, batched=True, batch_size=32, # 减少批次大小 num_proc=4, # 降低并行进程数 load_from_cache_file=False # 关闭缓存避免内存堆积 ) ``` ### 3. 系统资源监控 Linux环境下使用`ulimit`调整限制： ```bash # 查看当前限制 ulimit -a # 临时调整限制 ulimit -n 65535 # 文件描述符数 ulimit -u 2048 # 用户进程数 ``` ### 4. 子进程管理优化 使用`subprocess`模块的增强方法： ```python import subprocess # 增加超时和内存限制检测 result = subprocess.run( ["python", "processor.py"], stdout=subprocess.PIPE, stderr=subprocess.PIPE, timeout=300, check=True ) # 内存监控 import psutil process = psutil.Process(pid) if process.memory_info().rss > 2 * 1024**3: # 超过2GB时主动终止 process.kill() ``` ### 5. 依赖版本验证 检查关键库版本要求： ```python # 要求的最低版本 torch>=2.0.1 transformers>=4.36.0 datasets>=2.14.0 ``` ### 6. 使用内存映射文件（推荐） 对大型数据集采用内存优化加载方式： ```python from datasets import load_from_disk # 加载时启用内存映射 dataset = load_from_disk("data", keep_in_memory=False) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值