【AI辅助设计】电商设计师看看?AI+Blender 打造真实场景渲染图

blender如何利用AI技术 2. 借助 AI 辅助建模:有一些基于 AI 的建模工具或插件,能够根据简单的草图或描述生成初步的模型形状,然后在 Blender 中进行进一步的编辑和优化。1. 利用 AI 生成纹理:可以使用一些外部的 AI 纹理生成工具,根据输入的描述或参考图像生成适合在 Blender 中使用的纹理。4. 动画生成:使用专门的 AI 动画生成工具,生成初步的动画关键帧,再在 Blender 中进行调整和完善。 阅读详情

本文的重点,是介绍由AI生成背景图,然后根据背景生成HDR,再放到Blender中进行渲染的整个过程。这个工作流的好处是:电商渲染图不需要苦苦地去找场景模型,同时又避免了,纯AI换背景,那种不可控和产品会变化的弱点。

这里用到几个AI的技术要点:

1. 「Midjourney生成电商背景图」 这块基本没有什么技巧,只需要提示语即可。

2. 「单图生成HDR技术」

3. 「Blender渲染合成」属于3D软件技巧,网上很多教程哈~

看看效果

先show一下效果,由于本人不是专业的电商设计师,所以,大家看看大致的效果,主要看融合后的感觉,背景是一张静态的图片,效果图稍微调了一下色调。

下面的瓶子有点脏了,发现透明材质不会那么好表现~🥱,毕竟不是实体3D。

制作过程

正如上面所属,我们需要用到3个工具,分别是Midjourney、DiffusionLight和Blender。

AI生成背景部分

我们希望生成一个山野森林里面的一个石台,使用mj的V6模型,可以真实还原出来。提示语如下:

​

**stone podium on forest background, green color palette, mockup design, digital art, 3d render, ultra realistic, product photography, high resolution, high detail, high quality, sharp focus, hyperrealistic, no blur, bokeh effect, cinematic mood, dark colors, blurred background, fantasy landscape, blue sky, green trees, foggy weather, dramatic light, contrast, shadow and backlight, octane rendering, ray tracing, epic, cinematic, volumetric lighting, HDR --v 6.0 --style raw**  

​
​

​

选择U3进行放大,即可得到一张1024x1024的图。

DiffusionLight处理

因为我们为了合成的真实,所以HDR光照需要跟背景图保持一致,我们使用开源的DiffusionLight技术进行生成。关于这个技术我之前有介绍过,这里简单说说安装的过程。

推荐大家使用wsl安装,这样会顺畅很多,也不会影响Windows的环境。至于如何安装wsl2,看微软官方的教程即可。同时要安装nvidia的驱动和cuda
tookit,这些自行搜索互联网或者问GPT即可。我们打开wsl的命令行工具。

拉取代码

​

git clone https://github.com/kijai/ComfyUI-DiffusionLight  

​
​

​

拉取完成后,CD到ComfyUI-DiffusionLight目录。根据官方提供的方法,逐个输入:

​

conda env create -f environment.yml  
conda activate diffusionlight  
pip install -r requirements.txt  

​
​

​

这里大家也需要安装conda,我用的是miniconda。安装依赖这里,我遇到个坑,就是OpenEXR安装不上,所以我打开requirements.txt,手动把版本号改为:OpenEXR>=1.3.9,就可以安装了。

运行程序

在项目根目录新建一个input和output文件夹。

把ComfyUI生成的图,放进input文件夹中。然后依次运行:

​

python inpaint.py --dataset input --output_dir output  
python ball2envmap.py --ball_dir output/square --envmap_dir output/envmap  
python exposure2hdr.py --input_dir output/envmap --output_dir output/hdr  

​
​

​

注意,运行第一行代码时间比较长,4090大约运行了10分钟。最终你可以在,output/hdr 文件夹中,找到最终的输出图。

输出效果

会输出一个HDR球和HDR文件。

看得出来,灯光的大致关系是没问题的,虽然有瑕疵,材质和环境的理解都到位,作为光源合成,问题不大。另外一张大雪天的路HDR,效果稍微好点,不过也好像变成了广场😂,但作为光源问题不大~。

Blender合成

给摄像机添加背景

导入模型后,我们新建一个摄像机,在这里添加mj生成的背景。

切换到合成模块,按照我的节点,进行链接,这样,渲染的时候才可以把背景图渲染出来。

制作阴影

新建一个平面,随便给个材质,然后在模型属性那里,打开阴影捕捉。

在渲染属性那里,勾选透明。

在切换到cycle渲染器,可以预览看看效果。

可以看到产品和背景已经有了初步的融合,但是因为光照不是由背景图产生的,所以显得很假。

HDR设置

进入HDR节点编辑,把DiffusionLight生成的HDR添加进来,调整一下对比度、亮度、亮度,还有角度。

细化反射

事实上,底部的阴影已经不错了,但是在物理世界中,底部需要反射地面的元素,所以这里还有一步,就需要把接收阴影的平面,加上背景图的元素,我这里制作粗糙点,直接往上面贴了个背景图,同时缩放对好位置。

换个场景可能对比明显点。

以下是没加贴图的。

加了贴图后。

方案的缺点

缺点还是有的,毕竟是模拟和逼近的做法,效果肯定比不上扎扎实实建模搭场景的,如果作为一个快速出图的工作流,可以尝试尝试。另外,生成的HDR分辨率不高,如果需要制作线下广告图,或者更高精度的主图,应该不能胜任~🥱。

做个调查

最后做个调查,最近我们尝试将这类似的技术产品化,希望结合传统工具和AI,赋能给设计师们,不知道各位设计师是否有兴趣尝试?

资料软件免费放送
在这里插入图片描述

基于Blender的AI插件——2D图片生成3D模型 只需5分钟即可从图片到可编辑3D模型,支持Blender全版本兼容。 阅读详情

相关推荐

Unity事件总线第一篇:为什么你的游戏需要一个事件总线?

本文探讨了游戏开发中常见的跨模块调用导致代码强耦合的问题。通过一个攻击按钮触发角色攻击、怪物掉血和血条更新的案例,分析了直接调用方式带来的维护困难、扩展性差和模块重用性低等弊端。文章提出使用事件总线(Event Bus)作为解决方案,通过发布-订阅模式实现模块解耦。重构后的代码中,各模块只需与事件总线交互,彼此不再直接依赖。这种设计使得新增功能(如音效)无需修改现有代码,大大提高了系统的可维护性和扩展性,同时增强了模块的重用性,完美体现了开闭原则。

qq_46348216的博客 1301

Blender 3D建模——AI脚本3D建模技巧

前些天刷到了的机械结构视频,颇受震撼。的模型源文件大多为格式的,3D建模领域小白的我折腾了一下体验还不错,奈何Inventor软件太贵最后只得转到了。完全免费,及具备script脚本功能,这为的我们带来了许多遍历,即便对Blender软件操作不熟悉,通过翻阅和的普及下,也能让我们快速创作出我们想要的模型。为避免遗忘,特此本文记录一些使用AI进行建模的技巧,方便后续快速查找。(本文使用的Blender版本为4.3.2,脚本与方法基本通用)

水中加点糖 6077

elegant(ELEctron Generation ANd Tracking)入门指南(1)

elegant (ELEctron Generation ANd Tracking),美国先进光子源(APS)所用的圆环加速器的模拟程。

qq_41106132的博客 1849

Blender + AI 如何结合使用?

Blender 本身原生无内置 AI,所有 AI 能力都靠第三方插件、外部 AI 平台联动、本地大模型对接实现,覆盖AI 建模、AI 材质纹理、AI 渲染风格化、AI 场景脚本控制、AI 动画五大核心工作流。

belldeep的专栏 3202

用yolov8训练自己的模型并调取摄像头实时检测,新手小白超友好教程!逻辑梳理,从0开始逐步实操❤

帮新手小白学会用yolov8,包含多篇高质量博客整理

Lhhhhds的博客 2942

【20】方案管理器

方案管理器是Excel中一个非常强大且灵活的工具,适合用于多情景分析和比较。在复杂的决策过程中,它可以帮助用户快速管理和评估不同变量组合下的结果,从而优化决策过程。

学习,输出==》再学习再输出 1588
上一篇: 【Stable Diffusion】出图优化模型——Lora触发词插件lora-prompt-tool
下一篇: AI绘画入门教程重制版:如何抓住AI的心?流水的模型,铁打的描述词基础
不秃头de程序猿
博客等级 码龄5年 4091粉丝 1479原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值