IO失败导致一个或多个设备故障

最新推荐文章于 2024-02-18 12:32:10 发布
原创 最新推荐文章于 2024-02-18 12:32:10 发布 · 895 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

本文记录了ZFS池freenas-boot遇到I/O错误，提示部分设备故障，经过检查、清理和重启后恢复正常的过程。涉及技术包括ZFS、scrub扫描和数据错误处理。

One or more devices are faulted in response to IO failures.

Code:

Checking status of zfs pools:

NAME    SIZE  ALLOC   FREE  EXPANDSZ   FRAG CAP  DEDUP  HEALTH  ALTROOT

Media  16.2T  5.06T  11.2T  -  6% 31%  1.00x  ONLINE  /mnt

VM_Disk 117G  10.2G   107G  -  4%  8%  1.00x  ONLINE  /mnt

freenas-boot  57.5G  2.80G  54.7G  -   -  4%  1.00x  ONLINE  -

  pool: freenas-boot

 state: ONLINE

status: One or more devices are faulted in response to IO failures.

action: Make sure the affected devices are connected, then run 'zpool clear'.

   see: http://illumos.org/msg/ZFS-8000-HC

  scan: scrub in progress since Sun Jul  9 03:45:00 2017

1.82G scanned out of 2.79G at 22.8K/s, 12h26m to go

0 repaired, 65.16% done

config:

NAME STATE  READ WRITE CKSUM

freenas-boot  ONLINE    1 10  0

  da6p2  ONLINE    0 32  0

errors: 3 data errors, use '-v' for a list

Local system status:

 3:01AM  up 5 days, 11:55, 0 users, load averages: 0.01, 0.08, 0.07

-- End of daily output --

and then this one

Code:

cannot get history for 'freenas-boot': pool I/O is currently suspended

cannot get history for 'freenas-boot': pool I/O is currently suspended

   skipping scrubbing of pool 'freenas-boot':

  can't get last scrubbing date

Once I got home I tried to access the GUI and it would not load, I tried to access via SSH and got no response.
All my jails were still running and accessible.
So I reset the machine and now it says there are no errors.

Code:

root@FreeNAS:~ # zpool status -v

  pool: Media

 state: ONLINE

  scan: scrub repaired 0 in 3h55m with 0 errors on Sun Jul  2 04:30:27 2017

config:

NAME STATE  READ WRITE CKSUM

Media    ONLINE    0  0  0

  raidz1-0   ONLINE    0  0  0

gptid/6817d49b-dd80-11e5-96c2-d05099c00c66  ONLINE    0  0  0

gptid/68fb7018-dd80-11e5-96c2-d05099c00c66  ONLINE    0  0  0

gptid/69dbbaca-dd80-11e5-96c2-d05099c00c66  ONLINE    0  0  0

gptid/6ab7c822-dd80-11e5-96c2-d05099c00c66  ONLINE    0  0  0

gptid/6b99a30e-dd80-11e5-96c2-d05099c00c66  ONLINE    0  0  0

gptid/6c7aadf1-dd80-11e5-96c2-d05099c00c66  ONLINE    0  0  0

errors: No known data errors

  pool: VM_Disk

 state: ONLINE

  scan: none requested

config:

NAME   STATE  READ WRITE CKSUM

VM_Disk    ONLINE    0  0  0

  gptid/86f788f5-628b-11e7-8406-002590826ed0  ONLINE    0  0  0

errors: No known data errors

  pool: freenas-boot

 state: ONLINE

  scan: scrub repaired 0 in 35h53m with 0 errors on Mon Jul 10 15:38:32 2017

config:

NAME STATE  READ WRITE CKSUM

freenas-boot  ONLINE    0  0  0

  da6p2  ONLINE    0  0  0

errors: No known data errors

So I'm a little confused, some thing happened, I was unable to access the interface, and it generated the email.
But now after the restart it appears to be fine.
Is my flash drive going? it is less than a month old.

camcontrol devlist shows the following

root@FreeNAS:~ # camcontrol devlist

<ADATA SU800 Q0125A>    at scb

Code:

root@FreeNAS:~ # camcontrol devlist

<ADATA SU800 Q0125A>    at scbus2 target 0 lun 0 (pass0,ada0)

<LSI SAS2X36 0e0b>  at scbus7 target 8 lun 0 (pass1,ses0)

<ATA WDC WD30EFRX-68E 0A82> at scbus7 target 10 lun 0 (pass2,da0)

<ATA WDC WD30EFRX-68E 0A82> at scbus7 target 11 lun 0 (pass3,da1)

<ATA WDC WD30EFRX-68E 0A82> at scbus7 target 12 lun 0 (pass4,da2)

<ATA WDC WD30EFRX-68E 0A82> at scbus7 target 13 lun 0 (pass5,da3)

<ATA WDC WD30EFRX-68E 0A82> at scbus7 target 14 lun 0 (pass6,da4)

<ATA WDC WD30EFRX-68E 0A82> at scbus7 target 15 lun 0 (pass7,da5)

<SanDisk Ultra Fit 1.00>    at scbus9 target 0 lun 0 (pass8,da6)

西门子HMI触摸屏设备“死机”或IO域出现“##”现象故障总结
Robot_PLC_HMI_Automation
05-28 9847
西门子HMI触摸屏设备“死机”或IO域出现“##”现象故障总结 当系统中有多个HMI设备连接同一个plc时，如果IP地址出现重复现象，可能会出现通讯偶然中断又“自愈”的现象； 出现这种情况，可能是因为后期维护人员在更换触摸屏时没有注意及时地修改IP地址。 一般常规判断当屏幕上I/O域显示“##”的情况，一般为与PLC的通讯中断或连接的变量数据超出范围，进一步判断通信中断的原因或者变量值是否在合理区间内。 ...
如何封装一个线程安全、可复用的 HBase 查询模板
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
05-02 12万+
本文探讨了如何封装一个线程安全、可复用的 HBase 查询模板。通过引入基于 AtomicReference 的连接懒加载机制和函数式接口封装查询执行逻辑，本文提供了一种高效的 HBase 查询解决方案。文章详细阐述了 HBase 连接池的实现、查询模板的设计与优化，以及如何在实际业务中应用这些技术。通过完整的案例演示，本文帮助开发者解决 HBase 查询中的常见问题，提高系统性能和可维护性。
replace offline or FAULTED device in ZPOOL
weixin_34221773的博客
04-05 1179
今早发现一台zfsonlinux主机的zpool其中一块硬盘写错误次数过多变成FAULTED状态了, raidz1的话变成了DEGRADED状态. 但是hot spare还是AVAIL的状态, 也就是说hot spare没有自动用起来. (后来发现确实如此, hot spare不会自动使用, 需要手工干预) 当前的zpool状态, sdl已经faulte...
FreeBSD下使用USB外设
caigutan的专栏
04-03 765
      camcontrol工具可列出USB存储设备和系统的关联:     #camcontrol devlist     系统账户包括：daemon,operator,bind,news,www...     ①用pw工具添加用户的用户组：operator     ②修改/etc/devfs.ruls         [local ruls = 5]        
ＦreeBSD常用操作
seaship的博客
03-11 5699
1、查看 CPU： sysctlhw.modelhw.ncpu dmesg|grep"CPU:" 2、查看内存： dmesg|grep “real memory”|awk -F ‘[()]’ ‘{print$2,$4,$7,$8}’ 查看 swap： top|grep"Swap:"|awk’{print$1,$2}’ 3、查看硬盘： diskinfo‐vt/dev/ad0 disklable/dev/ad0s2#查看分区信息 看硬盘大小： dmesg|grep"sector"|awk’{print$1,$2
什么是fail safe IO
学而不思则罔，思而不学则殆
07-06 7001
普通IO cell，内置二极管用作ESD保护。考虑一种应用场景，当芯片只有部分上电的时候。芯片部分IO，是断开电源。 如果芯片IO外接设备，输入给芯片高电平，会导致二极管导通，使得芯片内电源异常升压；即芯片内电源不是0v，而是3.3-0.7（二极管压降）=2.6v。 这种情况，会导致芯片所在PCB板，发生异常情况概率加大，因为PCB板电源不符合期望。方法一：IO采用fail safe，解决此类芯片部分断电导致的IO电源倒灌问题。 方法二：如果IO不带fail safe，需要考虑PCB板做好IO相连设备的一起
raise ValueError(“Pool is still running“)报错
qq_35037684的博客
02-25 1632
python
精选资源
S7-1200PLC报警提示IO设备故障，但IO设备都正常的故障诊断及处理办法.docx
12-29
在工业自动化领域，西门子S7-1200 PLC是广泛应用的控制器之一，而IO设备（输入/输出设备）则是与PLC交互的重要组成部分。当S7-1200 PLC出现“IO设备故障”报警，但在实际检查中所有IO模块都显示正常时，这通常意味着...
一个迷惑性很高的生产故障-Elasticsearch日志rotate导致节点CPU激增
qq_33999844的博客
07-23 2020
Elasticsearch CPU很高的场景很常见，优化读写以及扩容即可解决问题。 如果只有一个节点CPU高，那可能的情况就比较多了，节点机器异常？读写不均匀？GC过高？forcemerge？ 这里描述一个极具迷惑性的case。...
dify docker部署安装失败，获取镜像超时 https://registry-1.docker.io/v2/ 一定能解决的方案
最新发布
12-15
还有一个解决方案是，如果用户处于一个使用私有镜像仓库的组织内，可以尝试从私有镜像仓库中拉取所需的Dify镜像。这需要确保私有镜像仓库中已经存在该镜像，并且用户的Docker配置已经正确指向了私有仓库的地址。 在...
oracle存储换故障硬盘,更换或修复损坏的设备
weixin_29373959的博客
04-14 1327
更换或修复损坏的设备本节介绍如何确定设备故障类型、清除瞬态错误和替换设备。确定设备故障的类型术语损坏的设备相当含糊，它可以用来描述许多可能的情况：位损坏－随着时间的推移，随机事件(如电磁感应和宇宙射线)可能会导致存储在磁盘上的位发生翻转。这些事件相对少见，但是通常足以导致大系统或长时间运行的系统出现潜在的数据损坏。误导的读取或写入－固件已知问题或硬件故障可以导致整个块的读取或写入引用磁盘上的不正确...
在Linux上安装和使用ZFS
mengmeng_921的博客
12-28 1245
ZFS 文件系统是一种革新性的新文件系统，可从根本上改变文件系统的管理方式，并具有目前面市的其他任何文件系统所没有的功能和优点。ZFS 强健可靠、可伸缩、易于管理。ZFS 非常的优秀，这是一个真正现代的文件系统，内置的功能对于处理大量的数据很有意义。现在，如果您正在考虑将 ZFS 用于您的超高速 NVMe SSD，这可能不是一个最佳选择。它比别的文件系统要慢，不过，这完全没有问题， 它旨在存储大量的数据并保持安全。ZFS 消除了建立传统 RAID 阵列(独立磁盘冗余阵列)的需要。
linux zos传输文件,ZFS 一个功能强大的文件系统
weixin_29952601的博客
05-14 639
[new_device]#/mnt>zpoolreplacepoolnamec3t2d0c3t0d0#/mnt>zpoolstatuspool:poolnamestate:ONLINEstatus:Oneormoredevicesiscurrentlybeingresilvered.Thepoolwillcontinuetofunction...
ZFS 故障检修指南(二）
captainow的专栏
04-14 1771
 看磁盘替换实例来从一个故障磁盘恢复系统。用“zpool status -v”指令来识别潜在的数据破损。如果一个文件被破损了，你可以选择直接处理它，而不必恢复整个pool。# zpool status -v rpool pool: rpool state: DEGRADEDstatus: One or more devices has experi
Windows System Error Codes (exit codes)
lovenjoy的专栏
09-02 8660
Improve your productivity and save time.  Let your system work for you. Description The Command and WinCommand task sometimes do not return any error messages, when your batch files fail.  These t
I/O failure during classpath scanning in spring MVC
evilcry2012的专栏
10-18 1439
I/O failure during classpath scanning in spring MVC up vote0down votefavorite Hi I am new to Spring and I am trying to do a simple spring mvc application wh
解决 ZFS 存储设备问题
weixin_34381666的博客
11-13 2251
2019独角兽企业重金招聘Python工程师标准>>> ...
硬盘 健康度 SMART 检测参数详解[转]
qq_26172475的博客
02-18 2万+
当保留的空间用尽，再出现损坏的单元就将出现数据丢失，这个SSD的寿命就结束了。若新硬盘的启停计数为0，当前值为100－(0/1024)＝100，随着启停次数的增加，该值不断下降，当启停次数达到81920次时，当前值为100－(81920/1024)＝20，已达到临界值，表示从启停次数来看，该硬盘已达设计寿命，当然这只是个寿命参考值，并不具有确定的指标性。由于固态硬盘的擦写次数是有限的，当到达一定次数的时候，就会出现大量的单元同时损坏，这时候预留空间也顶不住了，所以这项参数实际上表示的是硬盘设计寿命。
redis多个线程同事set同一个key
06-11
<think>首先，用户的问题是：“我想了解在Redis中多个线程同时对同一个key进行set操作时的行为和解决方案”。用户具体想了解多个线程同时使用SET命令操作同一个键的行为以及如何保证数据一致性的解决方案。用户提供了几个站内引用：-[^1]:讨论Redis数据一致性问题和分布式锁（Redisson）。-[^2]:介绍Redis应对并发问题的方案：原子命令、Lua脚本、分布式锁、事务。-[^3]:显示了一个使用Jedis设置分布式锁的代码片段（SET命令中的SET_IF_NOT_EXIST）。-[^4]:提到Redis热Key问题处理技巧，如冗余写/随机读。这些引用涵盖了分布式锁、原子操作、并发控制等方面，我应该整合这些信息来回答用户的问题。关键点：-Redis是单线程模型的（直到Redis6引入多线程IO，但命令执行仍然是单线程的）。Redis的所有操作在一个核心上顺序执行，因此SET操作是原子性的。-当多个客户端（线程）同时发送SET命令到同一个键时，Redis服务器会按顺序处理这些命令。这意味着只有一个SET会成功执行，并覆盖之前的值。但由于命令是原子性的，一个SET操作不会被另一个SET中断，但最终值取决于执行顺序。-数据一致性问题：如果在高并发下，多个SET操作可能导致数据覆盖问题，最终值不一定是预期的。例如，如果有两个线程同时SETkey到value1和value2，最终键的值可能是value1或value2，取决于哪个SET先被执行。-解决方案：为了保证数据一致性，需要使用额外的机制：-使用事务：Redis事务（MULTI/EXEC）可以将多个命令打包成一个原子操作。-使用Lua脚本：Lua脚本在Redis中是原子执行的，可以在脚本中处理复杂的逻辑。-使用分布式锁：如Redisson或自定义锁机制，来确保只有一个线程能执行SET操作。-Redis的原子命令：如INCR/DECR等简单原子操作，但对于SET，没有内置的复杂原子性。行为描述：-在Redis中，当多个线程对同一个键执行SET操作时，Redis服务器由于单线程模型，会顺序处理这些命令。所以，每个SET操作都是原子性的，不会发生部分写入或冲突。但是，最后一个被执行SET的命令会覆盖之前的值，导致数据可能不一致于应用逻辑预期（如竞态条件）。解决方案：1.**使用分布式锁**：-如引用[^1]提到的Redisson，提供分布式锁实现。线程在SET之前获取锁，确保互斥访问。-代码示例：引用[^3]显示了类似Redisson的锁使用（SETwithNX选项）。2.**使用Lua脚本**：-Lua脚本在Redis服务器端原子执行。可以将SET操作和条件逻辑封装在一个脚本中。3.**使用Redis事务**：-MULTI/EXEC可以将多个命令打包执行，但在Redis事务中，执行时不是完全隔离的（WATCH命令可用于乐观锁）。4.**原子命令**：-对于简单场景，使用原子命令如SETNX（SETifNoteXists），但SETNX只适用于设置新键，不适用于更新。-Redis还提供其他原子命令如INCR,DECR等。针对用户的特定场景（多个SET操作同一个键），最相关的是：-如果想确保只有一个SET成功，或者基于某些条件，可以使用分布式锁或Lua脚本。-如果只是更新键，但希望合并更新或处理竞争，Lua脚本是高效的。回答结构：-由于用户提到了“行为”和“解决方案”，我需要分步解释。-结构清晰：先描述行为，然后讨论数据一致性问题，最后列出解决方案。-引用参考：在回答中自然地添加引用标识，如[^1],[^2]，从用户提供的引用中。-使用中文回答。-包括LaTeX格式：由于是系统级指令，我需要确保行内数学表达式使用$...$，但本问题可能不涉及数学表达式，除非讨论计数等。比如，在解释INCR时，可以用$INCRkey$。-生成相关问题：在回答末尾添加相关问题，以帮助用户深入学习。相关问题思路（§§相关问题§§）：1.深入探讨分布式锁在Redis中的实现细节。2.如何优化高并发下的SET操作以避免热Key问题？3.Redis事务与其他并发控制方案的比较？4.在分布式环境中，如何确保多个Redis实例之间的一致性？最后，确保回答真实可靠，基于Redis文档标准行为：-Redis单线程模型保证原子性。-SET命令本身是原子的，但多个并发SET可能导致覆盖问题。-解决方案：锁、Lua脚本等。</think> ### Redis中多线程并发SET相同Key的行为及数据一致性解决方案 在Redis中，当多个线程（或客户端）同时对同一个键（key）执行SET操作时，需要理解Redis的行为特性及潜在的数据一致性问题。Redis采用单线程命令处理模型（命令执行在单核上顺序进行），因此SET操作本身是原子性的，但并发访问可能引发覆盖问题和最终一致性问题[^2]。以下是详细分析和解决方案。 #### 1. **多线程并发SET的行为** - **原子性保证**：Redis的单线程模型确保单个SET命令是原子执行的。例如，执行 `SET key value` 不会被打断，其他命令无法同时访问同一个键。 - **并发冲突**：如果多个线程几乎同时发送SET命令到同一个键，Redis服务器会按接收顺序串行化处理这些命令。最后一个SET命令会覆盖之前的结果。例如： - 线程A执行 `SET key 100`。 - 线程B几乎同时执行 `SET key 200`。 - Redis可能先执行A再执行B（或反之），导致最终键值为200（或100），具体取决于网络延迟和命令排队顺序。 - **数据一致性问题**：这种覆盖行为可能导致数据不一致。假设线程A和线程B基于不同逻辑更新同一个计数器键值，最终值可能不符合应用预期（如出现竞态条件）。引用[^2]指出，单条命令如SET的原子性不足以保证复杂场景的一致性，需额外机制解决并发冲突。 #### 2. **数据不一致的风险场景** - **热Key问题**：在高并发下（如QPS超过5000），同一键频繁SET可能成为“热Key”，导致Redis性能瓶颈或单点故障[^4]。 - **覆盖丢失**：两个SET操作无顺序保证，可能丢失更新（e.g., 线程A写入新配置，线程B覆写旧值）。 - **业务逻辑失效**：如秒杀系统库存扣减，多个线程SET同一库存键，可能超卖（库存值被错误覆盖）。 #### 3. **解决方案** 为确保数据一致性，Redis提供多种机制处理并发SET问题。以下方案基于引用[^1][^2][^3]，按实现复杂度和适用场景排序： 1. **使用分布式锁（推荐）** - **原理**：在SET操作前获取分布式锁，确保同一时刻只有一个线程能访问键。锁通过Redis的原子命令实现（如SETNX）。 - **实现方法**： - 使用Redisson（分布式服务框架）：引用[^1]提到Redisson提供简便的分布式锁API。示例代码： ```java // Redisson分布式锁示例 RLock lock = redisson.getLock("myLock"); lock.lock(); // 获取锁 try { // 执行SET操作 redis.set("key", "value"); } finally { lock.unlock(); // 释放锁 } ``` - 自定义锁：使用SET命令的 `NX` 选项（SET if Not eXists）和过期时间。引用[^3]显示Jedis实现： ```java String result = jedis.set("lockKey", "requestId", "NX", "EX", 10); // 设置锁, 10秒过期 if ("OK".equals(result)) { // 获取锁成功, 执行SET操作 jedis.set("targetKey", "newValue"); } ``` - **优点**：强一致性保证，适用于写冲突严重场景（如抢购系统）。 - **缺点**：锁竞争可能导致延迟，需处理锁过期和续约问题[^1]。 2. **使用Lua脚本** - **原理**：Lua脚本在Redis中原子执行，可封装SET操作和逻辑条件，避免竞态。 - **实现方法**： - 示例脚本，在SET前检查条件（如键值是否匹配）： ```lua -- Lua脚本: 仅当旧值为old时SET新值 if redis.call("GET", "key") == "old" then return redis.call("SET", "key", "new") else return nil end ``` - 客户端调用：`EVAL "lua_script" 1 key old new`。 - **优点**：高性能（无网络往返开销），原子性强，适合复杂逻辑[^2]。 - **缺点**：脚本编写需谨慎，避免死循环或长执行。 3. **使用Redis事务（MULTI/EXEC）** - **原理**：事务打包多个命令为原子操作，但需配合 `WATCH` 实现乐观锁。 - **实现方法**： ```java jedis.watch("key"); // 监视key的变动 Transaction tx = jedis.multi(); tx.set("key", "value1"); // 添加SET到事务 List<Object> results = tx.exec(); // 原子执行, 如果key被其他线程修改, 事务失败 if (results == null) { // 重试逻辑 } ``` - **优点**：简单，适用于冲突概率较低场景。 - **缺点**：事务失败需重试；性能低于Lua脚本；不能保证完全隔离[^2]。 4. **热Key优化技巧（预防问题）** - **冗余写/随机读**：引用[^4]建议将热Key分散到多个键（e.g., `key_{random}`），减少单个键压力。 - **限流降级**：应用层限流（如QPS控制在5000以内），或使用本地缓存缓冲写操作。 - **原子命令复用**：如改用 `INCR key`（增加操作原子性），避免直接SET竞争。 #### 4. **方案选择建议** - **低并发场景**：优先使用事务或原子命令（简单高效）。 - **高并发或强一致需求**：使用分布式锁（Redisson）或Lua脚本。 - **热Key预防**：结合冗余设计+监控（引用[^4]）。 - **一般原则**：测试QPS，实测优于理论估计；Redisson简化分布式锁实现（引用[^1]）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿呆~耶~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值