实现图片的裁剪和融合。

请参考之前的博客链接：

https://blog.youkuaiyun.com/Helloorld_1/article/details/130107465?spm=1001.2014.3001.5502

如何实现裁剪图片。

本文主要是讲述如何利用SAM（Segment Anything）将裁剪下来的图片进行融合

效果如下图所示：

 利用sam抠出图像，然后将图像与想要作为背景的图像进行融合，从而实现万物皆可抠图。

灵感来自于这位博客：

使用Segment Anything(SAM)模型进行自动标注_咚咚锵咚咚锵的博客-优快云博客

因为是python写的代码，然后还存在很多运行问题，因此需要注意环境的版本问题，因为精力问题，所以没有测试其他环境。然后融合图片部分，是因为人为的一些抠图是极为麻烦而且费精力的，因为人工抠图需要对图片进行画圈。

然后具体配置环境如上述博客内容所讲，这里我放上自己融合图片的代码供大家参考：

import cv2
import numpy as np

img1 = cv2.imread('output.jpg')#前景图像
img2 = cv2.imread('2.jpg')#背景图像
rows, cols = img1.shape[:2]#图像尺寸大小
img2=cv2.resize(img2, (cols, rows)) # 裁剪背景图像到合适的大小

#mask=cv2.imread('s.jpg')#蒙版图像
imgray = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
ret, thresh = cv2.threshold(imgray, 127, 255, 0)
# 根据轮廓信息提取掩模
for i in range(rows):
    for j in range(cols):
        if img1[i,j].sum() >20:
            img2[i,j]=[0,0,0]

img_mix = cv2.addWeighted(img2,1,img1,1,0)#融合图像
# img_mix=img1+img2
# cv2.imshow('mask',mask)
# cv2.imshow('img1', img1)
# cv2.imshow('img2', img2)
cv2.imshow('img_mix', img_mix)

cv2.waitKey(0)
cv2.destroyAllWindows()

另外针对上述博客中的标注为json文件，转化为txt文件信息供标注工具labelimg使用

代码如下：

# 处理同一个数据集下多个json文件时，仅运行一次class_txt即可
import json
import os
import cv2

"存储标签与预测框到txt文件中"
def json_txt(json_path, txt_path):
    "json_path: 需要处理的json文件的路径"
    "txt_path: 将json文件处理后txt文件存放的文件夹名"
    # 生成存放json文件的路径
    if not os.path.exists(txt_path):
        os.mkdir(txt_path)
    # 读取json文件
    with open(json_path, 'r') as f:
        dict = json.load(f)
    # 得到images和annotations信息
    images_value = dict.get("categories")  # 得到某个键下对应的值
    annotations_value = dict.get("annotations")  # 得到某个键下对应的值
    # 使用images下的图像名的id创建txt文件
    list=[]  # 将文件id存储在list中
    filename="a"
    img_size = dict.get("images")  # 得到某个键下对应的值
    numh = 1
    numw = 1

    for z in img_size:
        numh=z.get('height')
        numw=z.get('width')
    for i in images_value:
        open(txt_path + str(i.get("name")) + '.txt', 'w')
        list.append(i.get("id"))
        filename=txt_path + str(i.get("name")) + '.txt'

    imgSize = [numw, numh]
    # 将id对应图片的bbox写入txt文件中
    for i in list:
        for j in annotations_value:
            if j.get("image_id") == i:
                # bbox标签归一化处理
                ori_coords = j.get('bbox')# [x,y,w,h]获取检测框
                # print((ori_coords))
                leftup = [round((x + ori_coords[i + 2] / 2) / imgSize[i],6) for i, x in enumerate(ori_coords[:2])]
                wh = [round(x / imgSize[i],6) for i, x in enumerate(ori_coords[2:])]
                coord = [leftup[0], leftup[1], wh[0], wh[1]]  # 最终坐标
                with open(filename, 'a') as file1:  # 写入txt文件中
                    print(j.get("category_id"), coord[0], coord[1], coord[2], coord[3], file=file1)


"将id对应的标签存储在class.txt中"
def class_txt(json_path, class_txt_path):
    "json_path: 需要处理的json文件的路径"
    "txt_path: 将json文件处理后存放所需的txt文件名"
    # 生成存放json文件的路径
    with open(json_path, 'r') as f:
        dict = json.load(f)
    # 得到categories下对应的信息
    categories_value = dict.get("categories")  # 得到某个键下对应的值
    print(categories_value)
    # 将每个类别id与类别写入txt文件中
    with open(class_txt_path, 'a') as file0:
        for i in categories_value:
            print( i.get('name'), file=file0)


json_txt("./json/annotations.json", "txt_label/")#自己在当前目录下，创建一个txt_label文件夹
class_txt("./json/annotations.json", "txt_label/classes.txt")

根据大家的需要，我就将工程文件放到下面的链接里面了，需要的可以自取哈：

基于SAM和别人的UI进行的万能抠图魔改（仅供交流学习）资源-优快云文库

由于上传文件不能超过1G，所以压缩包里面没有vit-h文件，如果要运行，还请再下载一个

sam_vit_h_4b8939.pth

将该文件放到segment_anything_annotator.py在同一目录即可。

环境配置，我已经将我的环境导出成environment.yaml文件

anconda里面只需要使用以下指令，即可快速创建环境

conda activate base #先激活环境

conda env create -f environment.yaml #复制环境，注意目录哟！

然后就只需要运行segment_anything_annotator.py即可

另外在这里说明一哈里面的文件夹：

 .idea是pycharm生成的，不用管

images是如果你要使用自己的图片进行分割，就将图片放到里面去就行。

json文件是参考博主里面有描述，这里就不过多说明了

salt就是精华所在了，包括分割，UI界面，融合图像的.py就在里面了

txt_label和transformer是我想将参考博主，文件的json数据格式转化为txt数据格式而弄的，跟分割没关系！！！

还有问题可以评论区留言。