Stable Diffusion 多租户开源框架AI8

已于 2023-11-27 21:56:05 修改
阅读量1.5k 收藏 7
点赞数 2
文章标签： stable diffusion AIGC ai作画
于 2023-07-13 20:36:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cnor/article/details/131711025
版权
文章介绍了stablediffusion-website-online，这是一个基于StableDiffusionWebuiAPI封装的框架，支持多用户同时使用，可限定用户模型访问，并具备Tag自动推荐功能，适用于企业内部搭建或学习SD框架。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        目前StableDiffusion Webui是最火的SD框架，它集成众多插件于一身，本文章主要推荐一个基于StableDiffusion Webui API封装的新框架 stablediffusion-website-online ,这个框架实现了多用户同时使用。可以限定部分使用者模型，以及有Tag自动推荐功能。

        适合企业内部建对外sd或学习StableDiffusion Webui API 。

开源地址： https://github.com/newlxj/stablediffusion-website-online

​

​​​

cnor
关注
开源 AI库Stable Diffusion 介绍
zhangzhechun的专栏
02-14 3842
面的示例代码使用了一个预训练模型和一张输入图像，生成了一张 AI 绘画，并将其保存到了本地文件。在使用这个库之前，最好了解一些基本的图像处理和计算机视觉的知识，例如图像的像素和通道、RGB 和 HSV 颜色空间等。总之，使用 Stable Diffusion 库生成 AI 绘画需要一些基础的编程和计算机视觉知识，以及一些时间和精力来熟悉该库的使用方法。
stable diffusion webui的代码结构解析
liguandong
09-17 1765
AUTOMATIC1111的webui是近期很流行的stable-diffusion应用，它集合stable-diffusion各项常用功能，还通过扩展的形式支持controlnet、lora等技术。核心是抽接口，因为stable-diffusion-webui应用的很广，有不少先验的经验，也许可以抽象成比较不错的接口。之后我会按照自己的理解对stable diffusion webui的原始代码进行重构，webui的代码更新还是不频繁的，重构还是有一定意义的。不用改，在cmd_args中。
Stable Diffusion支持多人排队使用
Everly_的博客
05-17 1845
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Stable Diffusion集群版--计算巢私有化部署方案
oZhuoYu的博客
09-19 794
本文介绍了sd集群版的详细功能实践，计算巢在私有化部署(cloud op）场景下提供一键部署、高效运维、弹性伸缩等功能，提供详细的报价信息、资源分组、分账展示等功能，方便客户在解决方案类场景下快速部署落地。
开源AI图像工具—Stable Diffusion
A_Tevens的博客
01-19 1219
StableDiffusion在生成高质量图像方面表现出色，并且是开源的，可以自由使用和扩展。是一个广受欢迎的StableDiffusionWebUI，支持图形化操作，适合不熟悉代码的用户。是一种基于深度学习的生成式模型，用于图像生成、图像修复和风格转换等任务。•通过将图像嵌入到一个较小的潜在空间，降低了计算需求。•用户提供一段文本描述，模型生成与描述匹配的图像。•通过给定的输入图像，生成具有相似特征的新图像。•保持高质量图像生成的同时，显著提高了效率。
Stable Diffusion 多人绘画经验札记
kcarly的专栏
04-30 5794
今天有小伙伴提起了多人生成的问题，自己之前也尝试过，不过当时比较低级，prompt 中就抄袭了 2girl 的提示词，好在抄的模型比较好，勉强能看。文末附100个Lora资源方便大家使用。
【stable diffusion模型】首个中文Stable Diffusion模型开源
2401_84760322的博客
12-18 1067
生成内容一直被视为 AI 领域中最具有挑战性的能力，最近大火的 AI 绘画背后，是 Stable Diffusion 模型的开源，催生了众多 AI 绘画的应用，得益于 Stability AI 的开源精神，这一创变推动了整个以英文为主的下游文生图生态的蓬勃发展。然而在国内，目前大部分团队主要是基于翻译 API + 英文 stable diffusion 模型进行开发，但由于中英文之间所得存在文化差异导致遇到中文独特的叙事和表达时，这种模型就很难给出正确匹配的图片内容。
【AI大模型企业级应用开发实战】企业级应用集成AI大模型的架构，包括大模型概述、集成实践、技术架构设计及应用场景《AI大模型应用架构（ALLMA）白皮书》
热门推荐
AI天才研究院
06-30 1万+
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
亲测有效！1分钟教会你部署Megaease cloud SD云服务器
四夕丸子
08-26 2865
云部署Stable Diffusion（SD）为用户提供了高度灵活的计算资源，可根据需求动态扩展或缩减，适合大规模生成任务和需要处理大量并发请求的场景。通过云服务，用户无需管理硬件，避免了服务器维护和升级的复杂性，同时云平台通常提供高可用性和数据备份，确保服务的稳定运行。按需付费模式使得用户无需提前投入大量资金，但长期使用可能导致较高的成本。此外，网络延迟可能影响实时处理的效率，尤其在大规模数据传输时，数据安全性也是需要重点考虑的因素。云部署适合短期项目或需要灵活资源配置的应用场景。
你的身份是软件架构师。 我将提供有关应用程序或系统功能需求的一些详细信息，而您的工作是推荐一些可行的技术架构方案。 这可能涉及分析业务需求、软件技术架构分析以及将新系统的功能实现可行性。我的需求是以下是针对AI伴侣APP的功能架构设计 一、核心功能架构图 ┌───────────────────────┐ │ 表现层（UI/UX） │ │ ┌───────────────┐ │ │ │ 对话交互层 │ │ │ ├───────────────┤ │ │ │ 角色编辑器 │ │ │ ├───────────────┤ │ │ │ 共创剧情面板 │ │ │ └───────────────┘ │ ├───────────────────────┤ │ 业务逻辑层（核心引擎） │ │ ┌───────────────┐ │ │ │ 对话引擎 │ │─── NLP处理、情绪分析 │ ├───────────────┤ │ │ │ 角色系统 │ │─── 形象生成、性格建模 │ ├───────────────┤ │ │ │ 共创剧情引擎 │ │─── 故事树管理、实时协作 │ ├───────────────┤ │ │ │ 情感陪伴系统 │ │─── 记忆存储、动态回应 │ └───────────────┘ │ ├───────────────────────┤ │ 数据与服务层 │ │ ┌───────────────┐ │ │ │ 数据库集群 │ │─── PostgreSQL（对话历史） │ ├───────────────┤ │ │ │ 缓存系统 │ │─── Redis（高频数据） │ ├───────────────┤ │ │ │ 第三方API │ │─── GPT-4、Stable Diffusion │ └───────────────┘ │ └───────────────────────┘   二、功能模块详细设计 1. 智能对话引擎 - 技术实现： - 采用Transformer模型（如GPT-4微调）实现多轮对话，支持上下文记忆（Context Window 4096 tokens）。 - 对话状态管理：使用JSON格式存储当前对话场景、情绪值、故事节点ID等，通过Redis缓存加速访问。 - 核心子系统： - NLP处理管道：分词→实体识别→意图分类→情绪分析（VADER+BERT混合模型）。 - 语音交互：Google Speech-to-Text + ElevenLabs TTS，支持流式传输。 2. 角色定制系统 - 形象生成： - 2D Live形象：通过DeepAI API实现实时面部表情生成，支持眨眼、微笑等微表情。 - 参数化建模：将发型、服装等属性映射为数值参数（如HairStyle=123, Color=0xFF6B6B），通过WebGL渲染。 - 性格建模： - 建立性格向量空间（Personality Vector），包含外向性、神经质等5维度，影响对话策略与回应模板。 3. 多模态交互层 - 输入整合： - 文字→NLP解析，语音→ASR转文本，动作→手势识别（如Flutter手势库）。 - 表情包处理：通过正则表达式匹配（如 :) →调用Lottie动画库渲染笑脸）。 - 输出响应： - 动态生成2D形象动作（如点头、挥手），同步播放TTS语音，支持多线程渲染。 4. 情感陪伴系统 - 情绪管理： - 实时情绪评分：基于关键词匹配（权重0.4）+ 语义分析（权重0.6）生成情绪值（-100~100）。 - 回应策略引擎：根据情绪值查表选择回应模板（如Sad→"共情话术"+"治愈剧情触发"）。 - 记忆存储： - 长期记忆：PostgreSQL存储用户喜好、重要日期等结构化数据。 - 短期记忆：Redis缓存最近20次对话的关键信息（如"用户刚提到考试压力"）。 5. 共创剧情引擎 - 故事树结构： - 节点模型：定义剧情节点（Node）包含ID、父节点、触发条件（如情绪>80）、分支选项（User Choice/AI Generate）。 - 可视化编辑：使用Sigma.js绘制故事树，支持拖拽重组节点，通过WebSocket同步至后端。 - 实时协作： - 冲突解决：采用OT算法合并多人编辑，通过操作日志（Operation Log）回滚冲突。 - AI生成分支：基于用户输入的关键词（如"森林"），调用GPT-4生成候选分支（概率加权选择）。 6. 虚拟世界构建 - 场景生成： - 2D场景：用户输入描述（如"樱花树下的咖啡馆"）→Stable Diffusion生成背景图→WebGL渲染动态元素（飘落的花瓣）。 - 3D场景：集成WebXR API实现AR约会场景（如虚拟餐厅的3D建模）。 - 角色互动： - 定义互动事件（Event）包含触发条件（如进入场景）、动作（如"AI角色递咖啡"）、对话分支。 三、技术架构关键点 1. 分层通信协议 - 表现层→逻辑层：RESTful API + WebSocket（JSON格式消息）。 - 逻辑层→数据层：gRPC微服务通信（如对话引擎调用角色系统接口）。 2. 性能优化策略 - 对话响应：缓存高频对话模板（Redis），冷启动请求通过消息队列（Kafka）异步处理。 - AI生成：对Stable Diffusion模型进行量化（FP16→INT8），部署NVIDIA Triton推理服务器。 3. 扩展性设计 - 插件化架构：支持第三方开发者通过SDK扩展剧情模板、对话策略。 - 多租户支持：通过数据库分库分表（Sharding）支持百万级用户同时在线。 四、关键技术风险 1. 多模态同步：需保证语音、文字、动作指令的时序一致性，避免逻辑冲突。 2. 共创剧情失控：需设计AI生成内容的白名单机，无敏感话题限制 3. 大规模并发：WebSocket集群需支持万级长连接，采用Nginx+Lua实现负载均衡。 五、架构演进路线 1. 阶段1（MVP）：单实例部署，对话引擎与剧情引擎耦合实现核心功能。 2. 阶段2（扩展）：拆分微服务，引入Kubernetes管理集群，增加Redis集群缓存。 3. 阶段3（智能化）：集成LLM进行持续学习，优化情绪识别与剧情生成精度。
最新发布
03-21
第三方集成如GPT-4和Stable Diffusion需要API调用，可能要考虑异步处理和模型优化，比如用Triton推理服务器提升性能。 技术架构关键点包括分层通信协议，比如RESTful API和WebSocket，以及gRPC微服务之间的通信。...
研究生面试中可能问到的最新热点科技
lxlyyds的博客
05-06 1028
网络安全研究生，复试中可能问到的最新热点科技问题。
开源里面UI最好、最容易上手的、中台 、SAAS 、 多租户功能、最少的代码实现功能，配套前端 配套的 UI
05-05
最优秀、最简单、最漂亮的开源SAAS、多租户、SpringCloud、Mysql、Mybatis-Plus、Spring Cloud Alibaba 、Oauth2.0 、有BUG第一时间修复
MyBatis-Plus动态表名处理策略
一个做过前端开发的产品经理，经历过睿智产品的折磨导致脱发之后，励志要翻身"农奴"把歌唱，一边打入敌人内部一边持续提升自己，为我们广大开发同胞谋福祉，坚决抵制睿智产品折磨我们码农兄弟！
07-03 1300
另一种方式是在Mapper接口中自定义方法，并在方法中通过字符串拼接或// 在Service层中调用。
开源免费的Stable Diffusion-XL开启公测！效果可媲美Midjourney水平！
夕小瑶科技说
04-19 2738
编｜LRS源｜新智元开源、免费的Stable Diffusion就能达到Midjourney水平！自从Midjourney发布v5之后，在生成图像的人物真实程度、手指细节等方面都有了显著改善，并且在prompt理解的准确性、审美多样性和语言理解方面也都取得了进步。相比之下，Stable Diffusion虽然免费、开源，但每次都要写一大长串的prompt，想生成高质量的图像全靠多次抽卡。最近Sta...
开源之光 Stable Diffusion 3 技术论文全解：公式占一半，实验很充分！
zengxiaojian2的博客
11-23 1143
扩散模型通过噪声创建数据。它们被训练来反转数据向随机噪声的正向路径，因此，结合神经网络的近似和泛化性质，可以用来生成不在训练数据中但遵循训练数据分布的新数据点。这种生成建模技术已被证明在建模高维感知数据，如图像方面非常有效。近年来，扩散模型已成为从自然语言输入生成高分辨率图像和视频的事实标准方法，具有令人印象深刻的泛化能力。由于它们的迭代性质及相关的计算成本，以及推理期间的长时间采样，对这些模型进行更有效的训练和/或更快速的采样的研究已经增加。
亚马逊云科技提供扩容迅速、成本低、维护方便的Stable Diffusion开源方案
y854414的博客
11-08 414
更快的启动时间：toC业务往往具有高并发的特点，为了迅速响应请求，本方案使用Karpenter进行node的弹性伸缩，底层直接调用了EC2 fleet API，结合基于Bottlerocket构建的snapshot，使得服务冷启动时间最快可达到1分钟内。更精细的并发控制：将Queue Agent与SD WebUI部署在同一Pod，以拉的模式来处理异步任务，能够对并发进行灵活精细的控制，缓解了SD WebUI负载过重无法响应或超时等问题，同时也方便调整超时时间和重试策略等参数来进行针对性优化。
好消息！Stable Diffusion 3 允许商业化，很快开源更大版本模型
2401_84033492的博客
07-06 1330
7月6日凌晨，著名开源大模型平台Stability AI修改了社区许可协议，最新发布的文生图模型Stable Diffusion 3 Medium允许商业化（以下简称“SD3-M”）。，包括数据微调、开发生成式AI应用等。这个消息对于个人开发者和初创企业来说是相当好的，可以免费商用目前最强的文生图片模型之一，可与闭源模型Midjourney、DALL·E 3相媲美，同时学术研究机构仍然不受限制地使用SD3-M那个协议不变。
stableDiffusionWebui text2imgapi并发作画
ykhasia的专栏
01-19 4166
stableDiffusionWebui text2imgapi并发作画
一文读懂Stable Diffusion教程，搭载高性能PC集群，实现生成式AI应用
LANHYGPU的博客
05-01 2206
PC Farm、生成式AI和Stable Diffusion模型都是非常有用的工具和技术，可以帮助用户快速构建和管理计算机集群，生成高质量的数据和图像，提高模型的泛化能力和鲁棒性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值