truncated record at 132658019

最新推荐文章于 2022-03-10 15:47:42 发布
最新推荐文章于 2022-03-10 15:47:42 发布
阅读量3.4k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： tensorflow 文章标签： tensorflow truncated record 数据损坏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012133034/article/details/81180801
本文介绍了TensorFlow在读取TFRecord格式数据时遇到数据损坏错误的具体表现，并提供了可能的解决方案，包括重新生成TFRecord文件及使用MD5进行文件校验。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

具体报错如下：

INFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python.framework.errors_impl.DataLossError'>, truncated record at 132658019
     [[Node: parallel_read/ReaderReadV2_2 = ReaderReadV2[_device="/job:worker/replica:0/task:1/device:CPU:0"](parallel_read/TFRecordReaderV2_2, parallel_read/filenames)]]
INFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python.framework.errors_impl.DataLossError'>, truncated record at 132658019
     [[Node: parallel_read/ReaderReadV2_2 = ReaderReadV2[_device="/job:worker/replica:0/task:1/device:CPU:0"](parallel_read/TFRecordReaderV2_2, parallel_read/filenames)]]
INFO:root:Clean-up operation. Please ignore the following error.

这种情况一般都是数据有损坏，如果是tfrecord的数据，建议重新生成，要是直接是图片数据，那就需要好好检查了。实在不行，建议用MD5做下文件校验。

 

参考如下：

https://github.com/tensorflow/models/issues/571

https://github.com/Bartzi/stn-ocr/issues/13

【异常】 日期插入异常提示Data truncation: Incorrect datetime value: ‘2024-03‘ for column ‘record_time‘
本本本添哥
04-01 1122
【代码】【异常】 日期插入异常提示Data truncation: Incorrect datetime value: '2024-03' for column 'record_time'
tensorflow.python.framework.errors_impl.DataLossError: truncated record at 40109222 [Op:IteratorGetN
PinkAir的博客
10-25 1663
it is main due to the incomplete data.
问题解答：DataLossError: corrupted record at XXX
Rrui7739的博客
07-11 7042
这个问题其中一种原因是Tensorflow在制作TFRecord的过程中出错，具体原因未知，我在用anaconda时总出错，最后解决方法为使用.py文件（IDE为Spyder）制作后就可以运行了。 注：大多数这类问题大家直接去Tensorflow的Github-issues和Stack Overflow下去搜，国内相关疑难问题解答很少，不用费劲搜了。 ...
SSD训练数据tfrecords数据产生bug
不爱读书的小孩-博客
03-12 551
训练数据tfrecords产生的问题： INFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python.framework.errors_impl.InvalidArgumentError'>, All bounding box coordinates must be in [0.0, 1.0]: 1...
tensorflow常见bug总结
BigCherry的博客
04-18 775
tensorflow常见错误汇总 1, ‘utf-8’ codec can’t decode byte 0xff in position 0: invalid start byte 选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片. //当运行下面代码时 image_raw_data = tf.gfile.FastGFile(image_path).read() utf-8不能对ima...
INFO:tensorflow:Error ，，，All bounding box coordinates must be in [0.0, 1.0]: 1.36531126
huachuchengzhang的博客
03-15 696
win10 tensorflow ssd在训练自己的数据时遇到这个错误： INFO:tensorflow:Error reported to Coordinator: &lt;class 'tensorflow.python.framework.errors_impl.InvalidArgumentError'&gt;, All bounding box coordinates must ...
"Data truncated for column 'record_source' at row 1"
06-10
具体来说，这个错误提示是指 `record_source` 字段的数据被截断了，原因是插入的数据长度超过了该字段定义的长度。 要解决这个问题，有以下几种方法： 1. 扩大字段定义的长度：可以修改表结构，将 `record_source`...
Data truncated for column 'sj_record_id' at row 1
08-19
1. 检查数据库表的定义：确认字段 'sj_record_id' 的数据类型和长度是否适合存储你要插入的数据。如果需要，可以修改表结构来适应更长的数据。 2. 检查插入的数据：确保你要插入的 'sj_record_id' 数据不超过字段...
2025-03-04 10:19:24.932 ERROR 26684 --- [http-nio-19002-exec-1 : io-19002-exec-1] o.a.j.l.DirectJDKLog [log:175] : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed: java.lang.RuntimeException: com.fasterxml.jackson.core.JsonParseException: Unexpected character ('j' (code 106)): was expecting comma to separate Object entries at [Source: (String)"{"localParams":[],"resourceList":[],"customConfig":1,"json":"{"job":{"setting":{"speed":{"channel":1,"byte":1048576},"errorLimit":{"record":0,"percentage":0.02}},"content":[{"reader":{"name":"mysqlreader","parameter":{"username":"1111111","password":"1111111","column":["idlink_va","idsite","idvisitor","idvisit","idaction_url_ref","idaction_name_ref","custom_float","pageview_position","server_time","idpageview","idaction_name","idaction_url","search_cat","search_count","time_spent_ref_ac"[truncated 1836 chars]; line: 1, column: 65]] with root cause com.fasterxml.jackson.core.JsonParseException: Unexpected character ('j' (code 106)): was expecting comma to separate Object entries at [Source: (String)"{"localParams":[],"resourceList":[],"customConfig":1,"json":"{"job":{"setting":{"speed":{"channel":1,"byte":1048576},"errorLimit":{"record":0,"percentage":0.02}},"content":[{"reader":{"name":"mysqlreader","parameter":{"username":"1111111","password":"1111111","column":["idlink_va","idsite","idvisitor","idvisit","idaction_url_ref","idaction_name_ref","custom_float","pageview_position","server_time","idpageview","idaction_name","idaction_url","search_cat","search_count","time_spent_ref_ac"[truncated 1836 chars]; line: 1, column: 65] at com.fasterxml.jackson.core.JsonParser._constructError(JsonParser.java:2477) ~[jackson-core-2.15.3.jar:2.15.3] at com.fasterxml.jackson.core.base.ParserMinimalBase._reportError(ParserMinimalBase.java:750) ~[jackson-core-2.15.3.jar:2.15.3] at com.fasterxml.jackson.core.base.ParserMinimalBase._reportUnexpectedChar(ParserMinimalBase.java:674) ~[jackson-core-2.15.3.jar:2.15.3] at com.fasterxml.jackson.core.json.ReaderBasedJsonParser._skipComma(ReaderBasedJsonParser.java:2462) ~[jackson-core-2.15.3.jar:2.15.3] at com.fasterxml.jackson.core.json.ReaderBasedJsonParser.nextFieldName(ReaderBasedJsonParser.java:953) ~[jackson-core-2.15.3.jar:2.15.3] at com.fasterxml.jackson.databind.deser.BeanDeserializer.vanillaDeserialize(BeanDeserializer.java:321) ~[jackson-databind-2.15.3.jar:2.15.3] at com.fasterxml.jackson.databind.deser.BeanDeserializer.deserialize(BeanDeserializer.java:177) ~[jackson-databind-2.15.3.jar:2.15.3] 按照上面加了自定义反序列化器，还是不能成功解析成对象
最新发布
03-08
"json": "{\"job\":{\"setting\":{\"speed\":{\"channel\":1,\"byte\":1048576},\"errorLimit\":{\"record\":0,\"percentage\":0.02}},\"content\":[{\"reader\":{\"name\":\"mysqlreader\",\"parameter\":{...}}}}...
tensorflow存取模型报错 read less bytes than requested
跳币上山岭的博客
09-06 6442
这几天在用tensorflow的时候，存取模型遇到了read less bytes than requested的错误。 简单的说就是tf.restore()取出来的一堆参数跟应该有的对不上。 一直不知道错在哪里，卡了好几天。   最后发现是因为是我是边训练模型边定期存模型的，且总是keyboardinterrupt，导致结束的时候最新的模型没保存全。。。   解决方法：让程序自然结束...
tensorflow object detection 训练自己的数据集
hust平凡之路 的博客
03-28 5189
上一篇博文，已经准备好了自己的数据集，本博文主要记录如何训练自己的数据集。参考博文https://www.cnblogs.com/qcloud1001/p/7677661.html一、准备预训练模型1、各种预训练模型下载地址   本博文选择  ssd_mobilenet_v1_coco模型解压压缩文件，得到如图所示的5个文件。在data所在目录下创建training文件夹，在里面新建dataset...
python学习记录
Jason的博客
01-10 1745
1 AssertionError: Bad argument number for Name: 3, expecting 4 解决： pip install gast==0.2.2 #0.3.2版本的问题，降级后可以 2 FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a...
Data truncated for column 'id' at row 1
热门推荐
彩虹的专栏
03-13 6万+
项目中try catch 出现这种情况，就去检查下数据库列类型和项目中实体类的id类型是否一致。数据库id是int类型的，项目实体类是String类型的，项目save功能无法保存，导致了我的这个异常。
DataLossError : corrupted record at XXXXXXX，BERT预训练报错
qq_43719529的博客
03-10 1617
预训练过程中主要修改了两个文件，一个是create_pretraining_data和run_pretrain. 前者运行需要读取一个txt文件，记得改成utf-8。在前者代码里面，将读进来的txt转化成了tfrecod形式，存进了example.tfrecord,在后者的程序里会调用它，来预训练。 两个代码程序都需要保证读取成功，如果路径没问题，仍然报错， 可以去路径下看example.tfrecord有没有正确生成。 ...
TensorFlow问题处理:DataLossError: corrupted record at XXX
猜丁壳
07-27 5769
今天在做YouTube DNN调优的时候涉及到了一个比较糟糕的问题。 原来好好的代码抛出了异常: DataLossError: corrupted record at XXX 查询了相关资料: DataLossError (see above for traceback): corrupted record at 12 [TF2.0][FR] Skip TFRecord files with ‘DataLossError: corrupted record at’ #26991 Tensorflow官
Deeplab V3+训练自己数据集全过程
jairana的博客
11-09 4万+
Deeplab V3+训练过程0. 参考链接1. 制作数据集1. 制作json文件。2. 批量转换 json--png3. 数据集目录制作4. 生成tfrecord2. 训练前代码准备1. 修改segmentation_dataset.py2. 修改train_utils.py3. 数据不平衡问题4. 修改train .py3. TRAIN1. train2. vis3. val4. 生成更方便观...
data truncated for column at row 1
07-28
这个错误提示"data truncated for column at row 1"通常是由于字段长度超过了数据库表定义的长度限制导致的。在批量操作时，如果错误数据出现，可能会导致SQL执行截断，而不是提示字段过长或日期值不正确的错误。\[1...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值