优雅处理段错误

摘要:某些进程在结束前必须要处理一些额外的过程才能结束,尤其是数据存储的模块,进程停止前为保证数据的完整性可能要做一些事情,如果发生段错误,这时就需要先截获segv信号,处理完后再让程序出core
一般进程收到段错误信号默认是dump core文件然后退出,但有些进程在退出时需要处理额外的过程才能结束,这时就不能让信号执行默认的动作了,我们就需要截获段错误信号,然后在信号处理函数中
处理额外过程,我们称之为other_function,但是我们处理完后其实还是需要让程序core出来,以便知道是哪儿出问题了。
基础知识预备:
1.对线程而言,有三种信号类型:异步信号,同步信号,定向信号。其中异步信号是指传递给某些解除了对该信号的阻塞的线程的信号,同步信号是指传递给引发该信号的线程的信号,定向信号是指由pthread_kill函数发送给指定线程的信号。像SIGSEGV(段错误信号),SIGPFE(浮点错误)这样的错误信号就是同步于引发他们的线程的,因为引发这些信号的线程将等待信号处理程序处理完成后才能继续进行,这样的信号只能由本线程处理,而其他信号因为不与特定的线程相关,所以他们是异步的,例如其他进程给本进程发送的信号。如果有几个线程都解除了对同一个异步信号的阻塞,当有信号到达时,线程运行系统就从中选取一个来处理。
2.对于SIGSEGV信号,如果是由进程段错误导致的,则只能设定信号处理函数,不能阻塞或忽略,如果有是由别的进程发送的,则可以阻塞或忽略。
我们考虑了大概三个方案:
方案1:直接设置信号处理函数,在信号处理函数中处理other_function,处理完后再signal(SIGSEGV,SIG_DFL),这看起来比较完美,但实际上有锁的问题。如果出现段错误的线程中使用了锁,在没有解锁之前发生段错误,other_function中也使用了同一个锁,则容易出现死锁,造成进程hang住。other_function中无锁时此方案比较简单易行。
方案2:其他线程阻塞信号,由专有线程处理段错误信号。这个不可行,因为我们之前说了,段错误信号如果由进程产生则不能被阻塞或忽略
方案3:直接设置信号处理函数,但使用专有线程处理other_function。接到段错误信号后调用信号处理函数,信号处理函数中设置开始处理标记,然后定期检查专有线程是否处理完,专有线程定期检查开始处理标记,发现设定了就开始处理other_function,处理完之后设置处理完标记,然后推出。信号处理函数中定期检查处理完标记,发现一旦被处理完了则再signal(SIGSEGV,SIG_DFL),然后退出,等待出core。
这个方案也会出现方案1中的死锁问题,但是此时的死锁是两个线程之间的死锁,而不是同一个线程的死锁,所以是可以处理的,信号处理函数中设置一个超时时间即可,即信号处理函数发现专有线程太久没有处理完other_function就知道出现死锁了,这时没辙了,直接signal(SIGSEGV,SIG_DFL),让程序出core完事,由于这种可能是比较少的,所以是可以接受的。
另外一个问题是:如果other_function中本身也出core就比较囧了,此时可以在信号处理函数中做判断,如果开始处理标记已设定,说明已经已经在处理core了,再进来就直接signal(SIGSEGV,SIG_DFL),让程序出core了事

说的比较乱,直接看代码吧

#include <stdint.h>
#include <stdio.h>
#include <pthread.h>
#include <stdlib.h>
#include <unistd.h>
#include <signal.h>
#include <string.h>
volatile bool begin_segv_handle=false;
volatile bool already_handle_other_function=false;
void segv_handler(int signo);

void * core_thread(void *args) {
        int i=0;
        while(1) {
                printf("in core thread\n");
                sleep(1);
                if(i++>2) {
                        strcpy(NULL,"abc");
                }
        }
        return NULL;
}

void * other_function_thread(void *args) {
        int i=0;
        while(1) {
                printf("in other_function_thread\n");
                if(begin_segv_handle) {
                        printf("set already_handle_other_function\n");
                        already_handle_other_function = true;
                        break;
                }
                sleep(1);
        }
        return NULL;
}
void segv_handler(int signo) {
        printf("in segv_handler\n");
        if(begin_segv_handle) {
                signal(SIGSEGV,SIG_DFL);
                return ;
        }
        begin_segv_handle = true;
        int i=0;
        while(1) {
                if(i++>10) {
                        break;
                }
                if(already_handle_other_function){
                        break;                
                }
                sleep(1);
                
        }
        signal(SIGSEGV,SIG_DFL);
}
int main(void)
{
        signal(SIGSEGV,segv_handler);
        pthread_t tid_core_thread=0UL,tid_other_function_thread=0UL;
        pthread_create(&tid_core_thread,NULL,core_thread,NULL);
        pthread_create(&tid_other_function_thread,NULL,other_function_thread,NULL);
        pthread_join(tid_core_thread,NULL);
        pthread_join(tid_other_function_thread,NULL);
        return 0;
}



基于 NSFW Model 色情图片识别鉴黄 后面更新视频检测 项目背景: 随着互联网的快速发展,网络上的信息量呈现出爆炸式的增长。然而,互联网上的内容良莠不齐,其中不乏一些不良信息,如色情、暴力等。这些信息对青少年的健康成长和社会风气产生了不良影响。为了净化网络环境,保护青少年免受不良信息的侵害,我国政府加大了对网络内容的监管力度。在此背景下,本项目应运而生,旨在实现对网络图片和视频的自动识别与过滤,助力构建清朗的网络空间。 项目简介: 本项目基于 NSFW(Not Safe For Work)Model,利用深度学习技术对色情图片进行识别与鉴黄。NSFW Model 是一种基于卷积神经网络(CNN)的图像识别模型,通过学习大量的色情图片和非色情图片,能够准确地判断一张图片是否含有色情内容。本项目在 NSFW Model 的基础上,进一步优化了模型结构,提高了识别的准确率和效率。 项目功能: 色情图片识别:用户上传图片后,系统会自动调用 NSFW Model 对图片进行识别,判断图片是否含有色情内容。如果含有色情内容,系统会给出相应的提示,并阻止图片的传播。 视频检测:针对网络视频,本项目采用帧提取技术,将视频分解为一帧帧图片,然后使用 NSFW Model 对这些图片进行识别。如果检测到含有色情内容的图片,系统会给出相应的提示,并阻止视频的传播。 实时监控:本项目可应用于网络直播、短视频平台等场景,实时监控画面内容,一旦检测到含有色情内容的画面,立即进行屏蔽处理,确保网络环境的纯洁。
### 如何在本地部署 NSFW 模型或服务 要在本地环境中成功部署 NSFW(不适宜工作场合内容)检测模型或服务,以下是详细的说明: #### 准备环境 为了确保能够顺利运行模型和服务,需要安装必要的依赖项。这些工具和库包括但不限于以下几类: - **Python 环境**: 推荐使用 Python 3.7 或更高版本。 - **Transformers 库**: 提供加载预训练模型的功能[^1]。 - **PyTorch/TensorFlow**: 支持深度学习框架的计算需求。 - **Pillow (PIL)**: 处理图像文件并将其转换为适合输入模型的形式。 具体命令如下所示: ```bash pip install transformers torch Pillow ``` #### 加载模型与测试 通过 Hugging Face 的 `transformers` 工具包可以直接访问已有的 NSFW 图片分类模型。例如,可以采用名为 `"Falconsai/nsfw_image_detection"` 的公开模型来完成此任务[^1]。 下面是一个简单的代码片段展示如何加载该模型并对单张图片执行预测操作: ```python from PIL import Image from transformers import pipeline def classify_nsfw(image_path): # 打开指定路径下的图片文件 img = Image.open(image_path) # 初始化 image-classification 流水线对象,并指明使用的特定模型名称 classifier = pipeline("image-classification", model="Falconsai/nsfw_image_detection") # 对传入的图片调用流水线方法得到其类别标签及其置信度分数列表形式的结果 result = classifier(img) return result if __name__ == "__main__": test_img_path = "<your_test_image>" output_results = classify_nsfw(test_img_path) print(output_results) ``` 注意替换 `<your_test_image>` 成实际存在的图片绝对或者相对地址字符串值之前再尝试运行以上脚本。 #### 构建 RESTful API 服务 如果希望进一步扩展功能至 Web 应用程序层面,则可考虑利用 Flask/Django 这样的轻量级 web 开发框架构建起支持 HTTP 请求交互的服务端接口。这里给出基于 FastAPI 实现的一个简单例子作为示范用途: ```python import uvicorn from fastapi import FastAPI, File, UploadFile from PIL import Image from io import BytesIO from typing import List from pydantic import BaseModel app = FastAPI() class Prediction(BaseModel): label: str score: float @app.post("/predict/", response_model=List[Prediction]) async def predict(file: UploadFile = File(...)): try: contents = await file.read() pil_image = Image.open(BytesIO(contents)) clf_pipeline = pipeline('image-classification', model='Falconsai/nsfw_image_detection') predictions = clf_pipeline(pil_image) formatted_preds = [{"label": pred['label'], "score": round(pred['score'], 4)} for pred in predictions] return formatted_preds except Exception as e: raise ValueError(f"Error processing uploaded file {e}") if __name__ == '__main__': uvicorn.run(app, host='0.0.0.0', port=8000) ``` 启动服务器之后即可向 `/predict/` 路径发送 POST 请求附带上传待分析的目标图片获取返回结果了。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值