【Stable Diffusion AI协助室内设计神器,实现令人惊叹的视觉转换】

(一)ADE20K数据集 欢迎访问个人网络日志🌹🌹知行空间🌹🌹ADE20K数据集是2016年MIT开放的场景理解的数据集,可用于实例分割,语义分割和零部件分割。利用图像信息进行场景理解 和 。即最常见的任务,将图像的不同像素按对象类别 进行分类,不仅要识别不同物体所属的类别,还需识别出同类的不同物体。是在识别出的物体上分割出不同部分所属的零部件类别,这对于理解场景帮助机器人与环境交互十分重要,如在某个 中分割出来 或者 ,为了坐下或者拿起杯⼦需要找到 中对应的 ,如 可以坐的部分, 的杯柄, 以实现机器⼈与知行特定的任务。已.... 阅读详情

你是否已经厌倦了传统的室内设计方式,想探索新方法来增强作品设计感?本期小编就同大家分享一个新武器,用Stable
Diffusion的ControlNet来打造一个室内设计全新工作流。无论你是经验丰富的室内设计师还是初学小白,都将使你的日常工作如虎添翼、告别爆肝,焕发出令甲方爸爸们赞叹的设计感。

#01

/介绍

ControlNet是一种通过添加额外条件来控制扩散模型的AI神经网络结构,它提供了一种增强稳定扩散的方法。在文本生成图像的过程中,使用诸如涂鸦、边缘映射、分割映射、pose关键点等条件输入,可使生成图像更接近输入图像,对比传统图像到图像的生成方式有大幅的改进。

这是一个专门检测直线线条的ControlNet模型,该模型常被用于提取物体的线型几何边界
,最典型的就是几何建筑、室内设计、路桥设计等领域。基于MLSD模型的这一特征特性,**MLSD模型特别适用于在建筑、室内方向方面的线条处理和着色上,它能够很好的检测出输入图像中的直线线条,避开其它非直线线条预处理。**因为仅识别直线线条,忽略曲线线条,因此在一张包含人物的输入建设图,经过MLSD模型预处理就能够很好的避开输入图中的人物线条检测。

对初识Stable Diffusion的小伙伴们来说,看到ControlNet有这么多预处理器选项,一定很抓狂。

但没关系,为了方便大家使用,小编对每种预处理器的功能给出了简单的描述:

  • Canny 硬边缘:黑色背景带有白色边缘的单色图像;

  • Depth 深度:灰度图像,黑色代表深区域,白色代表浅区域;

  • Normal 常规:法线图,表示物体的凹凸纹理,常用在3D模型的绘制上;

  • OpenPose 姿态:生成角色动作姿态的骨架图;

  • MLSD 直线:黑色背景上带有白色直线的单色图像;

  • Lineart 线稿:黑色背景上带有白色线稿单色图像;

  • SoftEdge: 软边缘黑色背景上带有白色软边缘的单色图像;

  • Scribble 涂鸦:黑色背景上带有白色轮廓的手绘单色涂鸦图像;

  • Seg 语义分割 :根据原图中不同素材以相应颜色进行区分的彩色图像;

  • Shuffle 随机洗牌:通过使用随机流的方式来洗牌原图像,在控制稳定扩散的前提下重构出新图;

  • Tile 分块:将原图分割为一块一块的小区域(Tile/瓦块),然后分别对每个瓦块进行图生图放大,最后集合所有放大后的瓦块,拼成完整的大图;

  • Inpaint 局部重绘:用于蒙版部分重绘,能在统一整体效果的前提下,补全蒙版部分的内容;

  • IP2P 像素对像素指令 :该模型会自动识别像素对应提示词与新输入提示词的关系,并选择性的向新提示词迁移;比如把图片的光照调暗,让白天变为夜晚,在正向提示词中加入(make it night:1.3)、(night:1.3)即可;

  • Reference 参考 :根据给定的参考图,画同一张图,但是有一定的变化,常用来保持人物角色的一致性;

  • T2IA 自适应 :提取图片色彩或边缘,用于风格迁移;

到这里小编感觉一定有很多小伙伴们要开始抱怨了,这么多的预处理器,用哪个啊。别担心,本篇中的演示只会运用到两种最具代表性的预处理器,MLSD(直线)和Seg(语义分割),选择它们两个,并按照小编的步骤,即便你只有一张随手拍摄的毛胚房照片,也能完成一副有高级既视感的室内装饰效果图。光看文字有点晦涩,让我们先来看下这两种预处理器的实际效果。

可以看到两种预处理器的处理方式完全不同,接下来就告诉大家具体的使用步骤。

#02

/使用

首先设置Stable Diffusion模型,模型风格有很多种,比如二次元、写实风、插画、中国风等,建筑类推荐采用以下四个写实类风格的常用模型:

○ anything-v4.5

○ realisticVisionV20

○ PrimeMix_V2.1

○ chilloutmix_NiPrunedFp32Fix;

接着我们设置采样迭代步数Steps,默认为20,视不同图片尺寸和Stable
Diffusion模型而定,通常设置在15-40左右,小编用10、15、20、25四个参数做演示。

最后设置采样方法Sampler,从界面中可选择的采样方法类型有很多,不同的采样方法生成图片的过程各不相同,这里小编列举了四个常用的采样方法:Eulera、DPM++、2S a Karras、DPM++ 2M Karras、DPM++ SDE Karras。

MLSD直线

案例展示
01. 去除人物,毛坯变精装

这里采用了一张带有人物的室内建筑图,能够从下面的预处理器看到:MLSD模型能够很好的避免人物,输出图像很好的还原了室内图中的直线部分,以及整个建筑的结构被很好的保留下来。

​

magnificent_architecture,room,building,sunshine,warm and cozy,(8k,RAW photo,best quality,masterpiece:1.2),realistic, photo-realistic,

​

  * 1

​

ControlNet配置

输出效果

一种毛坯房立变精装房既视感。

02. 豪华房

​

(8k,RAW photo,best quality,masterpiece:1.2),realistic, photo-realistic,,living room,luxury,extravagant,spacious and bright,gold,italian style,

​

  * 1

​

ControlNet配置

输出效果

这里很好的保持了房屋的整体结构,室内家具改变为黄金豪华房。

03. 写字楼

​

modern construction,office building,plaza,science and technology fashion,brightly lit,(8k,RAW photo,best quality,masterpiece:1.2),realistic,photo-realistic,

​

  * 1

​

ControlNet配置

输出效果

设计草图立变成品写字楼既视感。

03. 别墅小院

​

Oriental architectural design,townhouses,80's houses,lawns,green trees

​

  * 1

​

ControlNet配置

输出效果

Seg语义分割

我们知道MLSD是通过线条去识别物体的。大家有没有想过,当两件物体的外形是一样的,比如一个衣柜和一个冰箱,它们都是长方体,仅仅通过线条来识别,并不能很好的区分它们。显然,此时仅有MLSD已经无法胜任了,这时就需要用到Seg(语义分割),
Seg可分割并用颜色标记原图物体,通过颜色对应物体的方式来引导Stable Diffusion生成希望获得的物体。以下小编就为大家介绍Seg的具体使用方法。

案例展示

1.将一张效果图,将它重新导入ControlNet中;

2.控制类型选择Seg(语义分割),在预处理器栏中我们可以看到有seg_ofade20k、seg_ofcoco、seg_ufade20k三种预处理器
可供选择。

seg_ofade20k和seg_ufade20k都使用了ADE20k协议,所以这两种预处理器识别图片中素材所用标记颜色是相同的。区别在于它们采用了不同的算法:OneFormer算法会在颜色不同处使用白线分割;而UniFormer算法没有分割线。

seg_ofcoco则采用了COCO协议,所以它的标记颜色和ADE20k协议有所区别。另外它采用了OneFormer算法,因此在颜色不同处也会有白线分割。

光看文字比较抽象,小编直接上效果图:

从左到右依次为seg_ofade20k、seg_ofcoco、seg_ufade20k

从三种预处理器的效果来看,都可以很好地分割原图中的各类素材区域。

3.这里小编选择预处理器seg_ufade20k,点击启用、低显存模式(GPU显存8G以下推荐开启)、完美像素模式(Pixel
Perfect)、允许预览(Allow Preview),点击“爆炸”按钮,我们可以看到图片中各素材已用不同的颜色标记出来了;

4.这里小编分享一个ADE20k协议的色号表,里面记录了不同的颜色所对应的材质或物件,大家也可以到LoveGPU官网内下载并使用。(文末领取完整色号表)

5.现在我们想在床边添加一张桌子,先保存Seg预处理效果图,并将其导入Photoshop,简单画出桌子的轮廓,颜色参考ADE20k色号表,选择将第34行“desk桌子”,将它的色号#0AFF47复制出来,填充进轮廓中。

6.回到Stable Diffusion,在正向提示词里添加desk,然后将Photoshop处理过的图片放入ControlNet中,预处理器选择none,
其他参数保持不变;

7.点击生成,让我们品鉴一下最终的设计效果吧!

太棒啦!已经顺利将桌子添加到预设位置。

文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。

在这里插入图片描述

ade20k-20200517T125953Z-001.zip https://github.com/hellochick/ICNet-tensorflow中的模型文件,帮同学们拿到了,可以做实验了 立即下载

相关推荐

ArcGIS高效拆分shp文件:无需依赖属性表的实用技巧

本文针对ArcGIS中shp文件因属性表缺失而难以拆分的问题,详细介绍了无需依赖属性表的实用技巧。核心是使用“拆分多部件要素”工具,直接根据图形结构将多个独立但被合并的部件拆分为单个要素,并提供了ArcGIS Pro和ArcMap的操作流程、关键注意事项及拆分后的属性处理方案。

n2o3p4的博客 379

【计算机视觉】三种常用的分割数据集:室内场景(ADE20K)、室外场景(Cityscapes)和驾驶场景(BDD100K)

【计算机视觉】三种常用的分割数据集:室内场景(ADE20K)、室外场景(Cityscapes)和驾驶场景(BDD100K)

wzk4869的博客 1万+

通义千问AI模型对接飞书机器人-集成飞书机器人(2-2)

http请求地址上一篇百炼平台配置的应用地址。

hefaji的博客 1918

详细解读:MIT经典的语义分割数据集ADE20K,附下载链接

给大家带来一份ADE20K 数据集的详细使用“攻略”,助大家模型训练一臂之力

OpenDataLab的博客 2万+

基于稀疏表示字典学习的图像超分辨率-杨建超论文解析

文章:《Image Super-Resolution via Sparse Representation》 作者:杨建超 信号稀疏的定义: 令字典D的原子个数M,信号维度为N,则有以下三种关系: M = N时,D为完备的; M > N时,D为冗余的; M>>N时, D为过完备的。 图解如下: 借鉴了压缩感知的思想,通过对大量低分辨率图像和高分辨...

ycc18829026593的博客 7638

大模型学习笔记四:LangChain开发框架解析

1、模型I/O封装LLMs:大语言模型Chat Models:一般基于LLMs,但按对话结构重新封装PromptTemple:提示词模板OutputParser:解析输出2、数据连接封装Document Loaders:各种格式文件的加载器Document transformers:对文档的常用操作,如:split,filter,translate,extract metadata,etcTextr Embedding Models:文本向量化表示,用于检索等操作。

谢白羽 4285

ADE20k数据集介绍

ADE20k(ADE20K Scene Parsing Challenge)是一个用于场景解析的大规模数据集,它包含了超过20,000个标注图像,用于图像语义分割任务。该数据集旨在推动计算机视觉领域的研究和发展,特别是在场景理解和图像分割方面。ADE20k数据集是一个用于场景解析的大规模数据集,包含了丰富多样的场景图像,每个图像都经过了像素级的语义分类标注。该数据集在图像分割和场景理解研究中发挥着重要的作用,为计算机视觉领域的研究和发展提供了重要的支持。

牛肉胡辣汤 5899

用OpenPose进行单个或多个人体姿态估计

在计算机视觉中,人体姿态估计(关键点检测)是一个很常见的问题,在体育健身、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景,本文要使用的检测方法就是基于OpenPose的人体姿态估计方法。 一、OpenPose简介 OpenPose人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络(CNN)和监督学习(SL)并以Caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿...

weixin_42709563的博客 8407

【免费下载】 ADE20K类别详情说明

ADE20K类别详情说明 【下载地址】ADE20K类别详情说明 本资源文件提供了ADE20K数据集的类别清单,这是一个广泛应用于计算机视觉任务,特别是语义分割和场景理解的重要数据集。ADE20K由麻省理工学院(MIT)发布,它包含了超过2万个带有精细标注的图像,覆盖了丰富的室内外场景,总计3688个类别,其中直接提供的类...

gitblog_06560的博客 957

Python爬虫实战:深度解析携程/飞猪酒店评论API与大数据采集

本文详细介绍了如何通过Python爬虫技术获取携程和飞猪平台的酒店评论数据。我们涵盖了从API分析、反爬虫对策到数据存储和处理的完整流程。API逆向分析:通过浏览器开发者工具发现和分析API接口反爬虫对策:使用请求头随机化、IP代理、浏览器自动化等技术异步处理:使用asyncio提高爬取效率数据质量:实现数据清洗和质量检查机制系统架构:构建可扩展的分布式爬虫系统未来改进方向:机器学习识别验证码分布式爬虫架构实时数据流处理更智能的反反爬虫策略。

2201_76125261的博客 602

4.4 直流无刷电机(BLDC):控制器硬件设计

摘要 本文详细阐述了直流无刷电机(BLDC)控制器的硬件设计要点。控制器硬件主要包括微处理器单元、功率驱动模块、信号检测电路、通信接口和电源管理模块。在微处理器选型方面,分析了ARM Cortex-M系列、DSP等架构的适用场景,并对比了不同处理器的性能参数。功率驱动模块设计重点包括栅极驱动电路、逆变桥热管理和电流保护机制。信号检测部分介绍了位置传感器接口和模拟信号调理技术。此外,还讨论了通信接口设计、电源管理方案以及硬件布局与EMC设计规范。最后强调了硬件测试验证的重要性,包括故障注入测试等验证方法。整体

技术工作者 186

Stable Diffusion AI协助室内设计神器,实现令人惊叹的视觉转换

ControlNet是一种通过添加额外条件来控制。

HJS123456780的博客 891

华为OD统一考试 - 模拟消息队列(Java & Python& JS & C++ & C )

让我们来模拟一个消息队列的运作,有一个发布者和若干消费者,发布者会在给定的时刻向消息队列发送消息,

算法大师! 3519

Stable Diffusion | AI协助室内设计神器,实现令人惊叹的视觉转换

案例展示1.将一张效果图,将它重新导入ControlNet中;2.控制类型选择Seg(语义分割),在预处理器栏中我们可以看到有seg_ofade20k、seg_ofcoco、seg_ufade20k三种预处理器可供选择。seg_ofade20k和seg_ufade20k都使用了ADE20k协议,所以这两种预处理器识别图片中素材所用标记颜色是相同的。区别在于它们采用了不同的算法:OneFormer算法会在颜色不同处使用白线分割;而UniFormer算法没有分割线。

小王的储物间 1004

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Stable Diffusion | AI协助室内设计神器,实现令人惊叹的视觉转换!

你是否已经厌倦了传统的室内设计方式,想探索新方法来增强作品设计感?本期小编就同大家分享一个新武器,用Stable Diffusion的ControlNet来打造一个室内设计全新工作流。无论你是经验丰富的室内设计师还是初学小白,都将使你的日常工作如虎添翼、告别爆肝,焕发出令甲方爸爸们赞叹的设计感。#01/介绍ControlNet是一种通过添加额外条件来控制扩散模型的AI神经网络结构,它提供了一种增强稳定扩散的方法。

m0_71746299的博客 1037

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

【AI绘画Stable Diffusion进阶】室内设计神器:ControlNet MLSDSeg 实现令人惊叹的视觉转换

你是否已经厌倦了传统的室内设计方式,想探索新方法来增强作品设计感?本期小编就同大家分享一个新武器,用StableDiffusion的ControlNet来打造一个室内设计全新工作流。无论你是经验丰富的室内设计师还是初学小白,都将使你的日常工作如虎添翼、告别爆肝,焕发出令甲方爸爸们赞叹的设计感。ControlNet将毛坯房照片转换为高清室内装饰效果图ControlNet是一种通过添加额外条件来控制扩散模型的AI神经网络结构,它提供了一种增强稳定扩散的方法。

Misdirection_XG的博客 1119

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

上一篇: 深度解析丨AIGC在电商产品设计中的应用
下一篇: 【设计视野】——AI绘画怎么玩?Midjourney教程来啦!
不秃头de程序猿
博客等级 码龄5年 4091粉丝 1480原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值