6D位姿估计--BlenderProc合成数据集

最新推荐文章于 2024-08-01 18:41:26 发布
最新推荐文章于 2024-08-01 18:41:26 发布
阅读量2.8k 收藏 38
点赞数 28
文章标签： python 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41977396/article/details/135570826
版权
本文详细介绍了如何使用BlenderProc生成6D位姿估计的数据集，包括环境设置、工具安装、数据集制作过程，以及在实际操作中遇到的bug和解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

6D位姿估计–BlenderProc合成数据集

制作真实数据集难以在短时间内获得大量数据，采用合成的方式可以弥补这一不足。

环境搭建

  1. 使用conda创建bop虚拟环境并激活
conda create --name bop python=3.8
conda activate bop
  1. 安装bop工具
git clone https://github.com/thodan/bop_toolkit.git
cd bop-toolkit
pip install -r requirements.txt -e .
  1. 安装blenderproc
git clone https://github.com/DLR-RM/BlenderProc

cd BlenderProc
pip install -e .

数据集制作

  1. 在BOP官网上下载以下两个文件
    在这里插入图片描述
  2. 将lm_base.zip移动到BlenderProc目录，并解压，然后将
    lm_models.zip放到刚解压出来的lm目录中并解压，得到lm目录如下：
.
├── camera.json
├── dataset_info.md
├── models
├── models_eval
└── test_targets_bop19.json
  1. 准备场景贴图，在BlenderProc目录新建backgrouns文件夹并运行
blenderproc download cc_textures ./backgrounds

这会在 ./backgrounds中下载很多场景贴图材料，下载一些就可以ctrl+c中断了，不然会下载很多。

  1. 生成数据集
blenderproc run examples/datasets/bop_challenge/main_lm_upright.py .. ./backgrounds ./output --num_scenes=20

参数含义：

parser.add_argument('bop_parent_path', help="Path to the bop datasets parent directory")
parser.add_argument('cc_textures_path', default="resources/cctextures", help="Path to downloaded cc textures")
parser.add_argument('output_dir', help="Path to where the final files will be saved ")
parser.add_argument('--num_scenes', type=int, default=20, help="How many scenes with 25 images each to generate")

也是运行一段时间差不多生成数量够了就可以提前终止了

但这一步第一次运行的时候会自动安装blender，以及一个相应的python虚拟环境，很费时间，不太好使，慢慢等待。

制作自己的目标物体数据集

  1. 将自己的ply文件放进/lm/models中，并在models_info.json中添加对应的模型信息.可以使用下面的代码获取模型信息。
from plyfile import PlyData
import os
import numpy as np
model_path = os.path.join('./Linemod_preprocessed/models/obj_01.ply')
ply = PlyData.read(model_path)
data = ply.elements[0].data
x = data['x']
y = data['y']
z = data['z']
x_size = np.max(x)-np.min(x)
y_size = np.max(y)-np.min(y)
z_size = np.max(z)-np.min(z)

print("Min X:")
print(np.min(x))
print("Min Y:")
print(np.min(y))
print("Min Z:")
print(np.min(z))
print('-----------------------------------------------------------------')
print("Size X:")
print(np.max(x)-np.min(x))
print("Size Y:")
print(np.max(y)-np.min(y))
print("Size Z:")
print(np.max(z)-np.min(z))
print('-----------------------------------------------------------------')
print("Diameter:")
print( np.sqrt(x_size**2 + y_size**2 + z_size**2) ) #直径
f = open("./Linemod_preprocessed/models/models_info.txt","w")
f.write("1: {")
f.write("diameter: {}, min_x: {}, min_y: {}, min_z: {}, size_x: {}, size_y: {}, size_z: {}".format(np.sqrt(x_size**2 + y_size**2 + z_size**2) ,np.min(x) ,np.min(y) ,np.min(z),(np.max(x)-np.min(x)) ,(np.max(y)-np.min(y)),(np.max(z)-np.min(z))))
f.write("}")
f.close()

os.rename("./Linemod_preprocessed/models/models_info.txt","./Linemod_preprocessed/models/models_info.yml")

#os.remove("compute_model_info.py")
  1. 替换camera.json中的相机参数为自己的相机参数
    depth_scale camera.json
target_bop_objs = bproc.loader.load_bop_objs(bop_dataset_path = os.path.join(args.bop_parent_path, 'lm'), obj_ids = [1], object_model_unit = 'm')

    bproc.writer.write_bop(os.path.join(args.output_dir, 'bop_data'),
                           target_objects = sampled_target_bop_objs,
                           dataset = 'lm',
                           depth_scale = 0.001,
                           depths = data["depth"],
                           colors = data["colors"], 
                           color_file_format = "JPEG",
                           ignore_dist_thres = 10)
  1. 生成数据集
blenderproc run examples/datasets/bop_challenge/main_lm_upright.py ..
./backgrounds ./output --num_scenes=20

在这里插入图片描述
（重建制作ply文件时质量太差，重建出来的瓶子很丑）
在这里插入图片描述
4.

cd  /bop_toolkit/scripts
python calc_gt_masks.py 
python calc_gt_info.py 

python gt.py 
python info.py

BUG

FileNotFoundError: [Errno 2] No such file or directory: '/home/enco/bop_toolkit/BlenderProc/lm/camera.json'

创建该文件并写入自己的相机参数。
2.

FileNotFoundError: The given filepath does not exist: /home/enco/bop_toolkit/BlenderProc/lm/models/obj_000001.ply

这里需要修改main_lm_upright.py中的第16行代码，作者把代码写死了，这里需要根据自己的实际情况对obj_ids = [1]进行修改，原作者调用bop_tookit中的params.py传入这个参数的，而params.py中默认lm数据集有15个模型，另外确保ply文件命名正确。

target_bop_objs = bproc.loader.load_bop_objs(bop_dataset_path = os.path.join(args.bop_parent_path, 'lm'), obj_ids = [1], object_model_unit = 'm')

object_model_unit = 'm’是模型的单位参数，有m、cm、mm，具体查看自己的ply文件，视情况而定。
3.

sampled_target_bop_objs = list(np.random.choice(target_bop_objs, size=15, replace=False))
  File "mtrand.pyx", line 965, in numpy.random.mtrand.RandomState.choice
ValueError: Cannot take a larger sample than population when 'replace=False'

使用np.random.choice时，你试图从一个群体中抽取比群体大小更多的元素，而且是在replace=False（即无放回抽样）的情况下，在不放回抽样的情况下，抽样大小不能超过群体大小。
在相应位置修改如下：

if len(target_bop_objs) < 15:  # 检查群体大小是否小于期望的样本大小,否则不抽样
        sampled_target_bop_objs = target_bop_objs
else:
   	    sampled_target_bop_objs = list(np.random.choice(target_bop_objs, size=15, replace=False))

当然也可以修改size=15参数，但不建议修改为有放回抽样。

poi = bproc.object.compute_poi(np.random.choice(sampled_target_bop_objs, size=1, replace=False))

这一行也需要做相应的修改。

gt.py

import yaml
import json
import os
from pathlib import Path
from fnmatch import fnmatchcase


class Yaml_Interconversion_Json:
    def __init__(self):
        self.filePathList = []

    # json文件内容转换成yaml格式
    def json_to_yaml(self, jsonPath1, jsonPath2):
        with open(jsonPath1, encoding="utf-8") as f1:
            datas1 = json.load(f1)  # 将文件的内容转换为字典形式
        with open(jsonPath2, encoding="utf-8") as f2:
            datas2 = json.load(f2)  # 将文件的内容转换为字典形式
            i = 0
            new_data = {}
            while (i < 100):############################################修改为生成的数据集图片数量
                b = str(i)
                new_data.update({i: [{'cam_R_m2c': datas1[b][0]['cam_R_m2c'], 'cam_t_m2c': datas1[b][0]['cam_t_m2c'],
                                      'obj_bb': datas2[b][0]['bbox_obj'], 'obj_id': datas1[b][0]['obj_id']}]})

                print(i)
                i = i + 1
            yamlDatas = yaml.dump(new_data, indent=5, sort_keys=False)  # 将字典的内容转换为yaml格式的字符串
        return yamlDatas

    #    # json文件内容转换成yaml格式
    # def json_to_yaml(self, jsonPath):
    #     with open(jsonPath, encoding="utf-8") as f:
    #         datas = json.load(f)
    #     yamlDatas = yaml.dump(datas, indent=5, sort_keys=False)
    #     # print(yamlDatas)
    #     return yamlDatas

    # 生成文件
    def generate_file(self, filePath, datas):
        if os.path.exists(filePath):
            os.remove(filePath)
        with open(filePath, 'w') as f:
            f.write(datas)

    # 清空列表
    def clear_list(self):
        self.filePathList.clear()

    # 修改文件后缀
    def modify_file_suffix(self, filePath1, suffix):
        dirPath = os.path.dirname(filePath1)
        fileName = 'gt' + suffix
        newPath = dirPath + '/' + fileName
        # print('{}_path：{}'.format(suffix, newPath))
        return newPath

    # 原json文件同级目录下，生成yaml文件
    def generate_yaml_file(self, jsonPath1, jsonPath2, suffix='.yml'):
        yamlDatas = self.json_to_yaml(jsonPath1, jsonPath2)
        yamlPath = self.modify_file_suffix(jsonPath1, suffix)
        # print('yamlPath：{}'.format(yamlPath))
        self.generate_file(yamlPath, yamlDatas)


if __name__ == "__main__":
    jsonPath1 = '/home/enco/bop_toolkit/BlenderProc/output/bop_data/lm/train_pbr/000000/scene_gt.json'##scene_gt.json位置
    jsonPath2 = '/home/enco/bop_toolkit/BlenderProc/output/bop_data/lm/train_pbr/000000/scene_gt_info.json'##scene_gt_info.json位置
    yaml_interconversion_json = Yaml_Interconversion_Json()
    yaml_interconversion_json.generate_yaml_file(jsonPath1, jsonPath2)

info.py

import yaml
import json
import os
from pathlib import Path
from fnmatch import fnmatchcase


class Yaml_Interconversion_Json:
    def __init__(self):
        self.filePathList = []

    # json文件内容转换成yaml格式
    def json_to_yaml(self, jsonPath):
        with open(jsonPath, encoding="utf-8") as f1:
            datas = json.load(f1)  # 将文件的内容转换为字典形式
            i = 0
            new_data = {}
            while i < 100:#################################################################修改为生成的数据集图片数量
                b = str(i)
                new_data.update({i: {'cam_K': datas[b]['cam_K'], 'depth_scale': datas[b]['depth_scale']}})
                print(i)
                i = i + 1
            yamlDatas = yaml.dump(new_data, indent=5, sort_keys=False)  # 将字典的内容转换为yaml格式的字符串
        return yamlDatas

    #    # json文件内容转换成yaml格式
    # def json_to_yaml(self, jsonPath):
    #     with open(jsonPath, encoding="utf-8") as f:
    #         datas = json.load(f)
    #     yamlDatas = yaml.dump(datas, indent=5, sort_keys=False)
    #     # print(yamlDatas)
    #     return yamlDatas

    # 生成文件
    def generate_file(self, filePath, datas):
        if os.path.exists(filePath):
            os.remove(filePath)
        with open(filePath, 'w') as f:
            f.write(datas)

    # 清空列表
    def clear_list(self):
        self.filePathList.clear()

    # 修改文件后缀
    def modify_file_suffix(self, filePath, suffix):
        dirPath = os.path.dirname(filePath)
        fileName = 'info' + suffix
        newPath = dirPath + '/' + fileName
        # print('{}_path：{}'.format(suffix, newPath))
        return newPath

    # 原json文件同级目录下，生成yaml文件
    def generate_yaml_file(self, jsonPath, suffix='.yml'):
        yamlDatas = self.json_to_yaml(jsonPath)
        yamlPath = self.modify_file_suffix(jsonPath, suffix)
        # print('yamlPath：{}'.format(yamlPath))
        self.generate_file(yamlPath, yamlDatas)


if __name__ == "__main__":
    jsonPath = '/home/enco/bop_toolkit/BlenderProc/output/bop_data/lm/train_pbr/000000/scene_camera.json'##scene_camera.json的位置
    yaml_interconversion_json = Yaml_Interconversion_Json()
    yaml_interconversion_json.generate_yaml_file(jsonPath)
-俊后生-
关注
Vue-Ant Design Pro of Vue-数据表格组件S-Table的使用(二)
谷子的博客
07-11 2万+
在之前的一篇文章中，对S-Table组件的的数据加载和数据渲染，以及分页参数的使用进行了描述： https://blog.csdn.net/gu_wen_jie/article/details/90702427 这一篇中，我想展示的是关于如何使用slot插槽来进行一些数据的过滤展示，或者说成过滤不是太准确，但是用到的确实就是过滤器，filters,具体的场景就是： 比如后端给你返回的一个字段：...
ant design vue a-table表格中插入操作按钮（以switch开关 [a-switch]为例）
LL__Sunny的博客
07-24 6167
ant design vue a-table表格中插入操作按钮（以switch开关 [a-switch]为例）
VUE3-组件问题（逐渐完善版）
每一次跌倒都是为了华丽的站起来。
06-07 2430
VUE3-组件问题
Vue-Ant Design Pro of Vue-数据表格组件S-Table的使用(一)
热门推荐
谷子的博客
05-30 4万+
Table 表格是我们平时在中后台系统中用到最多的组件之一了。在Ant Design Vue中，官方提供了一个Table 表格组件。我们先来介绍一下这个组件 Table 表格组件 https://vue.ant.design/components/table-cn 基础用法 分页组件，部分字段高亮特殊显示等等。详细使用请查阅文档。 筛选排序 当然也可以在列表上方做常规搜索，会在后面的S-Tab...
Surely Vue Table（S-Table）——一款针对大数据量的多功能前端表格组件
最新发布
carcarrot的博客
08-01 1229
团队旗下的“高端”组件之一，该组件致力于解决大数据渲染、图表集成等复杂高频问题。使用该组件可以流畅滚动 10 万行、10 万列的数据，你不必担心页面卡顿。该组件4.0 及以上版本组件底层默认依赖 Ant Design Vue 4.x 版本组件库，但当然这并不影响你使用其它组件库。如题， Surely Vue Table（S-Table）是一款针对大数据量的多功能前端表格组件， 请了解！Surely Vue Table 是。
antd vue ＜s-table＞
a nice day
03-07 231
antd vue
Antd中s-table组件某字段进行排序
qq_59833893的博客
03-13 1086
提前说明，s-table组件包含分页等功能
ant-design-vue(可拖拽table).vue
03-04
ant-design-vue(可拖拽table).vue
ant-design-vue 实现表格内部字段验证功能
10-15
ant-design-vue是一套基于Ant Design和Vue的组件库，提供了包括表格（a-table）、表单（a-form）、表单项（a-form-item）等多个现成的UI组件。这些组件通常会搭配对应的JavaScript API和属性来进行配置，以满足业务...
用于在vxetable表格中适配antdesignvue组件的渲染
08-10
在"用于在vxetable表格中适配antdesignvue组件的渲染"这个主题中，主要涉及以下几个关键知识点： 1. **VxeTable**：VxeTable是一个基于Vue的高性能表格组件，它支持动态列、行操作、表头分组、合并单元格、树形数据...
AntDesignVue一个基于AntDesign和Vue的企业级UI组件库
08-14
**AntDesignVue：基于Ant Design和Vue的企业级UI组件库** AntDesignVue是开发者们用于构建企业级前端界面的重要工具，它将阿里巴巴的Ant Design设计理念与Vue.js框架完美结合，提供了一系列高质量、易于使用的UI...
＜s-table＞、＜a-table＞接收后端数据
qq_59833893的博客
02-11 1444
template #bodyCell=“{column, record, index}”>，一直以来都是只使用，column为列属性，record为每行数据记录，而index为每行索引，从0开始，想要获得直接使用ndex即可，不同行index值不同，0、1、2…并不是实体类中所有的属性名称，而是 columns 中定义的数据；record 为集合中每一条数据，相当于一个实体类中所有的数据；title: 用户名,
Antd vue 中 s-table 序号翻页后连续自增[三步搞定]
北风浊酒
09-13 1577
注意三处，即可实现： 1.<s-table> 标签中的属性： :pagination="pagination" 此属性表示使用自定义分页； 在return中添加自定义分页： pagination: { total: 0, pageSize: 10, // 每页中显示10条数据 showSizeChanger: true, pageSizeOptions: ['10', '20', '60', '
ant design之s-table--改变默认分页器
qq_38723394的博客
04-07 3129
ant design之s-table--改变默认分页器 找了好多博客 都是粘贴 拷贝~~~无奈 还是自己动手吧 仅需2步 代码如下 <s-table ref="table" :pagination="pagination" //data中配置pagination :columns="columns" :pageSize="40" //设置默认显示条数 :data="loadData"
关于ant design vue 表格s-table复选框无法清空的问题：
qq_36713889的博客
05-08 1899
关于ant design vue 表格s-table表格复选框清空的问题： 1.将selectedRows和selectedRowKeys 值置空，然后清空表格的复选框。2.this.$refs.table.clearSelected() 。
VUE s-table 数据变化，表格同步更新
逆风优雅的博客
10-28 2693
1. 给s-table,绑定一个ref 2. 当表格数据变化时，通过this.$refs.绑定的ref的名字.refresh( )刷新
vue s-table与loadData使用
qq_41983336的博客
11-10 6519
一.loadData 1.loadData从后台加载数据 loadData: parameter => { Object.assign(this.queryParam, parameter) return getVersionList(this.queryParam).then(resp => { return resp.data }) }, //Object.assign(this.queryParam, parameter)注意此函数用法 2.loadData加载从上个
Vue中s-table根据图片url地址展示图片
qq_59833893的博客
10-11 318
【代码】Vue中s-table根据图片url地址展示图片。
s-table中实现分页+单选
qq_59833893的博客
11-30 798
【代码】s-table中实现分页+单选。
Ant Design Vue弹窗中table行编辑a-select
05-29
您可以在 Ant Design Vue 的弹窗中使用 Table 组件和 Select 组件来实现行编辑中的下拉选择框。首先，您需要在 Table 组件中设置 editable 属性为 true，这样就可以开启行编辑功能。然后，您可以在需要进行下拉选择框编辑的列中，使用 scoped slot 的方式自定义单元格内容，并在该单元格中使用 Select 组件来实现下拉选择框。具体实现方法可以参考以下代码示例： ```html <template> <div> <a-button type="primary" @click="showModal">打开弹窗</a-button> <a-modal v-model="visible" title="编辑表格" :width="800"> <a-form :form="form"> <a-table :columns="columns" :data-source="data" :row-key="record => record.id" :editable="true"> <template slot-scope="text, record, index"> <a-form-item> <a-select v-model="record.selectValue" style="width: 100%"> <a-select-option v-for="option in options" :key="option.value" :value="option.value">{{ option.label }}</a-select-option> </a-select> </a-form-item> </template> </a-table> </a-form> </a-modal> </div> </template> <script> import { Modal, Form, Button, Table, Select } from 'ant-design-vue' export default { components: { 'a-modal': Modal, 'a-form': Form, 'a-button': Button, 'a-table': Table, 'a-form-item': Form.Item, 'a-select': Select, 'a-select-option': Select.Option, }, data() { return { visible: false, form: this.$form.createForm(this), data: [ { id: 1, name: '张三', age: 18, selectValue: 'option1' }, { id: 2, name: '李四', age: 22, selectValue: 'option2' }, { id: 3, name: '王五', age: 25, selectValue: 'option3' }, ], options: [ { label: '选项1', value: 'option1' }, { label: '选项2', value: 'option2' }, { label: '选项3', value: 'option3' }, ], columns: [ { title: 'ID', key: 'id', dataIndex: 'id', editable: false }, { title: '姓名', key: 'name', dataIndex: 'name', editable: true }, { title: '年龄', key: 'age', dataIndex: 'age', editable: true }, { title: '下拉选择框', key: 'selectValue', dataIndex: 'selectValue', editable: true }, ], } }, methods: { showModal() { this.visible = true }, }, } </script> ``` 在上面的代码示例中，我们使用了 Ant Design Vue 的 Modal、Form、Button、Table 和 Select 组件来实现弹窗、表单、按钮、表格和下拉选择框。在 Table 组件中，我们使用了 scoped slot 来自定义单元格内容，并在该单元格中使用 Select 组件来实现下拉选择框。同时，我们还需要在该列的配置项中设置 editable 属性为 true，以开启该列的编辑功能。最终，我们将 Table 组件放置在 Modal 组件中，实现了在弹窗中编辑带有下拉选择框的表格的功能。
评论 36
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值