猫狗二分法遇到cannot identify image file ＜_io.BytesIO object at 0x000002A881819678＞

最新推荐文章于 2024-03-15 11:01:01 发布

原创

最新推荐文章于 2024-03-15 11:01:01 发布 · 3.3k 阅读

9 ·

CC 4.0 BY-SA版权

这篇博客介绍了如何通过Python脚本检查图片文件夹中格式错误的图片，例如遇到无法打开的Cat的666.jpg，并提供了解决方案——直接删除错误图片。脚本使用PIL库来尝试打开图片，并转换为RGB模式，从而检测图片的正确性。

这个错误是数据集中有图片格式出错打不开，只需把它删除即可。但是如何找出错误图片的位置

import os
from PIL import Image
folder_path = ''  #写入你图片所在的文件夹，即包含该图片的文件夹
extensions = []
for filee in os.listdir(folder_path):
    file_path = os.path.join(folder_path,

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

追梦少年ML

关注关注

4
点赞
踩
9

收藏

觉得还不错? 一键收藏
8
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

当_WIN32_WINNT大于0x500时，ToolTip窗口不显示问题排查

dvlinker的技术专栏

03-14

1万+

当_WIN32_WINNT大于0x500时，ToolTip窗口不显示问题排查。

Python 遇到 PIL.UnidentifiedImageError: cannot identify image file ＜_io.BytesIO object 报错的解决

xchenhao 的博客

11-03

6713

Python 报错 PIL.UnidentifiedImageError: cannot identify image file

8 条评论您还未登录，请先登录后发表或查看评论

读数据集时报错PIL.UnidentifiedImageError: cannot identify image file ＜_io.BytesIO object a

Fifiie的博客

04-17

1万+

PIL.UnidentifiedImageError: cannot identify image file <_io.BytesIO object at 0x000001E16E54B6D0> [[{{node PyFunc}}]] [[IteratorGetNext]] [Op:__inference_train_function_2141] Function call stack: train_function 有读取不出来的图片，要找出这些坏图片，删掉 ''' 此代码是查找出一个文件夹

模型训练出现UnidentifiedImageError: cannot identify image file ＜io.BytesIO object at 0x7faaa82bdb90＞

qq_44936246的博客

06-16

8592

UnidentifiedImageError: cannot identify image file <io.BytesIO object at 0x7faaa82bdb90> 在跑深度学习tensorflow框架是制作图片格式向tfrecord格式转化中，读取文件夹中的图片出现系统文件时候报错，提示有.DS_Store系统文件，还有就是有其他类型的图片 html png bmp 反正什么乱七八糟的图片都有一大堆，特别是在数据集比较大的时候，3/4G的时候，特别头疼; 在这里我是使用循环遍.

OSError: cannot identify image file

pursuit_zhangyu的博客

05-04

2万+

我出现的问题是OSError: cannot identify image file <_io.BytesIO object at 0x7f02cad50780>，但是这个不能作为标题使用（找了半天原因）。首先说一下为什么会出现OSError 操作系统不能执行指定的任务（如打开文件）时引发的，有多个子类。我出现的原因是要处理大量的图片，然而有的图片无法打开，所以会出现OS...

python图像分类出现错误PIL.UnidentifiedImageError: cannot identify image file ＜_io.BytesIO object at 0x000001

weixin_51762856的博客

12-24

6711

import os from PIL import Image folder_path = 'F:\\PetImages\\test_image' extensions = [] for fldr in os.listdir(folder_path): sub_folder_path = os.path.join(folder_path, fldr) for filee in os.listdir(sub_folder_path): file_path = os.path.join(sub_folder_p

Newton_erfen.rar_newton_二分法

09-24

3. 检查 f(c) 的符号：如果 f(c) * f(a) < 0，则新的搜索区间变为 [a, c]；如果 f(c) * f(b) < 0，则新的搜索区间变为 [c, b]。 4. 重复步骤2和3，直到达到预设的精度要求。在"Newton_erfen"文件中，很可能包含的...

python soup findall div tr td_如何使用BeautifulSoup在<tr>中捕获特定的<td> - python

weixin_39811478的博客

12-08

2129

尝试从nyc Wiki页面中的高中列表中获取所有高中名称。我已经写了足够多的脚本，可以让我获取包含在高中，学业和入学条件列表的表的标记中的所有信息-但是我如何才能缩小到我认为的范围内在td[0]内休息(会弹出KeyError)-只是学校的名称？到目前为止我写的代码：from bs4 import BeautifulSoupfrom urllib2 import urlopenNYC = 'http...

记录：weditor/uiautomator 报错出现 cannot identify image file 解决方案

老鹰的博客

07-05

3516

前言由于现在做的移动端多设备群控框架已经搭建的差不多，手中的手机设备也有10多台在群控运行，有小米，红米，荣耀，vivo，oppo ，华为不同的手机设备都有在用。每天完成不同的任务需求抓取。在此期间每次配置设备时有的手机安装atx在weditor上运行时总会报错关于 cannot identify image file <_io.BytesIO object at 0x0000015F5F6E2FC0> 等类似错误，如图：对此，也困扰了我一段时间，网上也没有类似案例查询，只能一步步的自己

利用resnet50对猫狗分类数据集时出现问题

weixin_45666880的博客

08-14

259

你可以把 label 和 image 都转换成 numpy 再试下。2、利用resnet50进行分类时，遇到error。1、先读取猫狗分类数据集。

pydicom读取压缩格式的DICOM图像报错的解决方案

inter_peng的专栏

07-05

9140

本文由Markdown语法编辑器编辑完成。前言：已知用pydicom读取一类Dicom图像时会报错，报错信息大致如下： OSError: cannot identify image file <_io.BytesIO object at 0x107683728> During handling of the above exception, another exception occured:

已解决Image.open()识别图片抛出异常PIL.UnidentifiedImageError: cannot identify image file的正确解决方法，亲测有效

最新发布

09-16

<think> 嗯，用户现在遇到了一个"C语言的运行时错误"，具体是'malloc(): invalid next->prev_inuse (unsorted)'，而且出现在使用OpenCV 4.5.4库的程序'stitch_sys.out'中，还伴随着SIGABRT信号。这看起来像是内存管理出了严重问题。让我分析一下这个错误信息。这个错误是glibc的内存分配器报出来的，通常意味着堆内存结构被破坏了。简单来说，就是程序在释放内存时，发现相邻的内存块状态不一致——当前块被标记为"使用中"，但下一个块的"前一块在使用中"标志位却被错误设置。这种问题往往源于内存越界写入、重复释放、使用已释放内存等操作。用户特别提到错误发生在使用OpenCV时，这让我想到几种可能性：可能是用户程序本身有内存错误，但只在调用OpenCV时才暴露；也可能是OpenCV库内部的问题；还有可能是程序与OpenCV的交互方式有问题。考虑到用户程序名为'stitch_sys.out'，我猜测是在做图像拼接之类的处理，这类任务通常涉及大量内存操作。从用户给出的引用内容看，里面提到了一些OpenCV数据结构如CvSeq，但这似乎只是背景资料，并非问题的直接线索。用户上次询问的是快速排序，与当前问题无关，所以应该专注于当前的内存错误。解决这类问题确实比较棘手，因为错误发生点往往不是问题根源所在。我想到几个关键排查方向：首先要用Valgrind检查内存错误，这是最有效的工具；其次要检查所有涉及内存操作的代码，特别是数组和指针操作；还要注意OpenCV对象生命周期管理；最后考虑库版本问题或编译参数。用户可能已经尝试过简单重启等方法无效，才会来寻求帮助。这类问题通常需要系统性的调试，我会建议从最基础的Valgrind检查开始，然后逐步深入到代码审查。如果用户是在做图像拼接，特别要注意拼接过程中创建的临时对象是否正确释放，以及是否在多个线程中不当共享了cv::Mat等对象。考虑到用户的技术水平（能使用OpenCV做拼接系统），应该具备一定的调试能力，所以可以提供具体的工具使用命令和重点检查方向。不过也要提醒用户，这类问题可能需要耐心和时间来排查。 </think> 这个 `malloc(): invalid next->prev_inuse (unsorted)` 错误伴随 `SIGABRT` 信号，表明你的程序 (`stitch_sys.out`) 在内存管理上发生了严重问题，导致 C 标准库的内存分配器 (`malloc/free/realloc`) 检测到了堆内存结构被破坏。在使用 OpenCV 时遇到此问题，通常指向以下几种原因： **核心原因：内存越界访问或非法内存操作** 1. **内存越界写入：** * **最常见原因。** 你的代码（或 OpenCV 内部代码，但这个版本相对稳定，更可能是你的代码）向动态分配的内存块（如 `cv::Mat` 底层数据数组、字符串、自定义结构体数组）的 *尾部之后* 或 *头部之前* 写了数据。 * 例如： * 访问 `vector[idx]` 或 `mat.ptr<type>(row)[col]` 时 `idx`、`row`、`col` 超出了有效范围。 * 使用指针进行迭代时步进过大，超出了分配的内存块。 * 错误计算了需要复制的数据大小（如 `memcpy`, `std::copy` 的参数）。 2. **使用已释放内存：** * 在某个对象（如 `cv::Mat`, `cv::Ptr<>` 管理的对象、`std::vector` 等）已经被销毁或释放后，仍然尝试读取或写入其指向的内存区域。 3. **重复释放内存：** * 尝试多次释放同一块动态分配的内存。 * 手动 `delete` 或 `free` 了由 OpenCV 对象（如 `cv::Mat`）自动管理的内存（通常不应该这么做）。或者在对象已被智能指针释放后手动干预。 4. **指针操作错误：** * 使用了未初始化或已失效的野指针 (`wild pointer`)。 * 指针运算错误导致指向了非法地址。 * 错误的类型转换导致后续内存操作出错。 5. **栈溢出：** * 虽然不是直接的堆破坏，但栈溢出也可能导致内存布局混乱，间接触发类似错误。这通常发生在递归深度过大或在栈上分配巨大数组时。然而，`SIGABRT` 和这个特定错误信息更典型指向堆问题。 **为什么在使用 OpenCV (`stitch`) 时出现？** * `stitch` 通常涉及加载大图像、创建中间处理结果（如特征点、描述符、变换矩阵、融合图等），这些都是内存密集型操作，会频繁分配和释放大量内存。 * OpenCV 函数调用链很深。一个在你的代码中造成的细微内存损坏，可能在某个 OpenCV 内部函数（如内存分配器 `malloc`）试图使用这块损坏的内存结构时才被检测到并引发崩溃(`SIGABRT`)，此时调用栈显示在 OpenCV 内部。但这并不意味着 OpenCV 库本身一定有 Bug（尤其是 4.5.4 是一个稳定版本），更可能是你的程序传入或使用了损坏的数据。 **解决方法与调试步骤：** 1. **使用内存调试工具（最重要！）：** * **Valgrind (Linux/macOS):** ```bash valgrind --leak-check=full --show-leak-kinds=all --track-origins=yes --log-file=valgrind.log ./stitch_sys.out <your_arguments> ``` * 仔细分析 `valgrind.log` 文件。它会精准指出第一次内存非法操作的源头（越界读/写、使用已释放内存、未初始化访问等），通常能直接定位到代码行。 * **AddressSanitizer (ASan) (GCC/Clang/Linux/macOS/Windows/MSVC 较新版本):** * 在编译你的程序时添加 `-fsanitize=address -g` 标志（确保生成调试符号 `-g`）。 * 重新编译 OpenCV（可选但推荐，尤其如果怀疑是 OpenCV 内部问题）： ```bash cmake -DCMAKE_BUILD_TYPE=Debug -DCMAKE_CXX_FLAGS="-fsanitize=address" -DCMAKE_C_FLAGS="-fsanitize=address" -DCMAKE_EXE_LINKER_FLAGS="-fsanitize=address" ... # 其他你的 OpenCV 配置参数 make -j8 ``` * 然后运行你的程序 (`stitch_sys.out`)。ASan 会在检测到内存错误时立即中止程序，并在终端打印详细的错误报告，包括调用栈和错误类型（越界访问、使用后释放、重复释放等），精确到代码行。比 Valgrind 更快但运行时开销稍大。 * **Dr. Memory (Windows):** 类似 Valgrind 的 Windows 替代品。 2. **仔细检查代码：** * **数组/容器边界：** 严格检查所有数组索引 (`[]`)、迭代器、指针运算。特别注意循环条件 (`<` vs `<=`)、动态分配大小后的访问。 * **OpenCV 对象生命周期：** * 确保 `cv::Mat`, `std::vector<cv::KeyPoint>`, `std::vector<cv::DMatch>` 等对象在需要使用时依然有效。 * 避免手动管理 `cv::Mat.data` 指针的生命周期。`cv::Mat` 有自己的引用计数机制，除非非常清楚后果且用 `Mat::release()` 或创建 `Mat` 时指定 `userdata`，否则不要 `delete` `data`。 * 理解 `cv::Ptr<>` 智能指针的行为，避免手动 `delete` 它管理的对象。 * **字符串操作：** 确保 `C` 风格字符串以 `\0` 结尾，使用 `strncpy` 避免溢出，注意 `sprintf`/`vsprintf` 的缓冲区大小（考虑 `snprintf`）。 * **自定义内存管理：** 如果代码中有 `new`/`delete` 或 `malloc`/`free`，务必成对使用，并确保指针有效。 * **多线程同步（如果使用多线程）：** 内存损坏可能由多线程竞争访问同一内存区域引起。确保共享数据访问有适当的锁（`std::mutex` 等）保护。 3. **缩小问题范围：** * 尝试使用更小的输入图像或数据集运行程序，看错误是否消失或更容易在调试工具中定位。 * 注释掉部分代码逻辑，特别是非核心的图像处理步骤，逐步缩小触发问题的代码块。二分法排除很有效。 * 检查问题是否只在特定输入图像或特定操作（如拼接大量图像）后出现。 4. **检查 OpenCV 使用方式：** * **查阅文档：** 确认你使用的 OpenCV 函数 API 正确无误，参数传递正确（尤其是涉及图像尺寸、ROI 的区域）。 * **数据类型匹配：** 确保传递给 OpenCV 函数的数据类型（如 `CV_8UC3`, `CV_32F`）与实际数据一致。 * **内存连续性：** 注意 `cv::Mat::isContinuous()`。某些 OpenCV 函数要求输入是连续内存。使用 `mat.clone()` 或 `mat.copyTo()` 可以强制创建连续副本。 5. **环境与版本：** * **确保一致性：** 确认你的程序链接的 OpenCV 库版本确实是 4.5.4，并且编译环境和运行环境一致（尤其是库路径）。 * **更新库（次要尝试）：** 虽然 4.5.4 稳定，但如果怀疑是特定 OpenCV 版本的罕见 Bug（可能性相对较低），可以尝试更新到 OpenCV 4.x 的最新版本（如 4.9.0）并重新编译你的程序测试。但**优先使用调试工具定位问题根源**。 **总结：** 解决 `malloc(): invalid next->prev_inuse (unsorted)` 和 `SIGABRT` 的关键在于 **精确找到内存破坏的点**。**Valgrind 或 AddressSanitizer (ASan) 是最强大、最有效的工具，务必优先使用它们进行诊断。** 结合仔细的代码审查（重点关注内存操作和 OpenCV 对象生命周期），通常能够定位并修复问题。这个问题几乎总是由应用程序代码（你的代码）中的 Bug 引起，而不是 OpenCV 库本身的根本原因（尽管错误可能在库代码中爆发）。