基于scanner的单视频处理

最新推荐文章于 2025-12-08 06:53:58 发布

原创最新推荐文章于 2025-12-08 06:53:58 发布 · 293 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种基于视频的目标检测方法，通过背景差分、下采样和并行处理等技术，实现了对视频中人脸的高效检测。并通过特征向量比对，判断特定人物是否出现在视频中。

'''
# 假设目标 检测张三有没有来  需要做的操作是将含有人的帧提取出来
# 这个demo是单视频分段处理，
# 多视频处理可以在基础上进行修改

# 进展—这两天主要工作：
	熟悉scanner的编程框架以及数据流处理过程，了解对应操作的数据类型
	下列代码基于scanner的相关提示方法编写

# 下一步计划：
       还有部分逻辑没理顺，这部分代码还有部分问题需要修改
	   完成多视频并行处理的代码
'''
from scipy.io.matlab.streams import FileStream

import scannerpy as sp
import scannertools.imgproc
import scannertools.face_detection
import scannertools.vis

from sklearn.metrics.pairwise import cosine_similarity

def main():


    # Scanner启动必须建立客户端连接
    sc = sp.Client()

    # 使用数据流图计算，将视频转换为input_stream流
    input_stream = sp.NamedVideoStream(sc, 'camera_1', path='camera_1.mp4')

    # 利用io操作将数据流读取为table，行为帧，列为帧类型（如mp4，h265类型）列表存储起来
    input_frame = sc.io.Input([input_stream])

    # 使用ops自带操作进行下采样压缩视频帧,并且按照视频一致性，进行步长3重建数据流 转换为stride_frame
    # 假设一个30fps的10mins视频，有18000帧，处理后还有6000帧
    resize_frame = sc.ops.Reszie(frame = input_frame, width = 640, height = 480)
    stride_frame = sc.ops.Stride(frame = resize_frame, [3])

    # 为了便于并行处理，可以将原视频帧分割，每3000帧一组

    slice_partition = sc.streams.Slice(stride_frame, partitions=[(0,3000),(3001,6000)])

    # 借助背景差分进行处理视频帧（检测目标）
    mask_frame = sc.ops.BackgroundSubtraction(frame = slice_partition,
                                              alpha = 0.02, threshold = 0.05,
                                              bounded_state = 60)
	# 聚合slice
    unslice_frame = sc.streams.Unslice(mask_frame)
    frame = sc.io.Input([unslice_frame])


    # 建立输出流，并进行run计算,此时已经完成人脸检测
    output_stream = sp.NamedVideoStream(sc, 'output_stream')
    output_frame = sc.io.Output(unslice_frame, [output_stream])
    sc.run(output_frame, sp.PerfParams.estimate())


    # output_stream代表 所有需要检测的人的帧

    # 读取目标帧
    obj_frame = FileStream(sc, paths='image1.png')
    obj_vector = DNN(obj_frame)  # 调用现有模型即可

    people_frames = output_stream.load() # 流类型 其实是用列表存储
    # 获得包含face的帧
    face_contain = []
    for i in people_frames:
        feature_vector = DNN(people_frames[i])
        face_contain[i] = cosine_similarity(feature_vector, obj_vector)

    if min(face_contain) < 0.005:
        print("张三来学校了")
    else:
        print("张三没来")
    # 最后删除创建的流
    input_stream.delete(sc)
    output_stream.delete(sc)

if __name__ == '__main__':
    main()