Llama也能做图像生成?文生图模型已开源

4B参数内Ollama高效文生图与视频模型实战指南 本文详细介绍了如何在4B参数内使用Ollama高效运行文生图与文生视频模型,包括LCM-LoRA和Zeroscope_v2的实战部署与优化技巧。通过轻量级模型在消费级GPU上的高效表现,帮助开发者快速实现AI内容生成,显著提升创作效率。 阅读详情
AI摘要

香港大学与字节跳动合作提出的LlamaGen模型,首次基于next-token prediction在ImageNet上超越了LDM和DiT等扩散模型,证明了自回归模型在图像生成方面的潜力。

导读

基于next-token prediction的图像生成方法首次在ImageNet benchmark超越了LDM, DiT等扩散模型,证明了最原始的自回归模型架构同样可以实现极具竞争力的图像生成性能。

Llama也能做图像生成?文生图模型已开源 香港大学、字节跳动提出了基于自回归模型LLama的图像生成模型LlamaGen。这是基于next-token prediction的图像生成方法首次在ImageNet benchmark超越了LDM, DiT等扩散模型,证明了最原始的自回归模型架构同样可以实现极具竞争力的图像生成性能。

在这里插入图片描述
图1:LlamaGen生成图像示例。第一行是class-conditional图像生成,第二行是text-conditional图像生成(文生图)。

文章: Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation

项目主页: https://peizesun.github.io/llamagen/

开源代码: https://github.com/FoundationVision/LlamaGen

开源模型: https://huggingface.co/FoundationVision/LlamaGen

体验网站: https://huggingface.co/spaces/FoundationVision/LlamaGen

1. 研究动机

多模态大模型的技术路线: 基于next-token prediction的自回归模型主导了大语言模型,那么多模态大模型的技术路线往LLM的技术路线靠是一种非常自然的选择。

我们从ViT中学到了什么? ViT在2020年提出后,CV领域有相当长一段时间内致力于给ViT加inductive bias,例如,多尺度策略,以期实现更优秀的性能。这个过程诞生了许多优秀的工作。但是站在2024年往回看,会发现最初的ViT架构也能够达到相似的性能。那么,同样的故事是否会发生在多模态领域?

自回归模型vs扩散模型: 开源社区对自回归模型做图像生成的印象大多停留在2020年的VQ-GAN的ImageNet benchmark FID15左右。然而,早在2021年的ViT-VQGAN已经达到了FID 3.0左右的性能,DALL-E v1,Parti等更是在文生图领域展现了巨大的潜力。不过这些工作都没有闭源,而同时期的扩散模型在Stable Diffusion社区的带领下一骑绝尘。

于是,研究团队致力于提出开源版的基于自回归模型的图像生成 !!!

2. Method

回顾现有的先进的图像生成模型,我们总结出其成功的三点关键设计:

(1)图像压缩/量化器(image compressors/tokenizers)

(2)可scale up的图像生成模型(scalable image generation models)

(3)高质量的训练数据(high-quality training data)

2.1 重训 image tokenizer

我们采用与VQ-GAN同样的CNN架构将连续的图像转化成离散的token。相比2020年的VQ-GAN,我们对image tokenizer有了更多的认知:一个优秀的tokenizer需要更大的codebook size,更低的codebook vector dimension,同时,更好的图像重建需要更多的token数量。

2.2 基于Llama架构的图像生成模型

我们的模型架构主要基于Llama语言模型,包括使用RMSNorm的pre-normalization、SwiGLU 和 RoPE。我们尽可能的保持与Llama语言模型一模一样的架构,尽管图像生成领域一些常用的技术可能进一步提高性能,如AdaLN。

在Class-conditional和Text-conditional(文生图)图像生成模型中,我们使用最简单的实现:class或text embedding直接作为start token,后续的image token应用next-token prediction范式产生。

2.3 多阶段的文生图模型训练流程

在第一阶段,模型在LAION-COCO的50M子集上进行训练,图像分辨率为 256×256。LAION-COCO原始数据集有 600M图文对。我们通过有效的图像 URL、美学分数、水印分数、CLIP图文相似度分数和图像大小来筛选这些图像。

在第二阶段,模型在10M的内部高美学质量图像上进行微调,图像分辨率为 512×512。这些美学图像的文本描述由LLaVa产生。

2.4 LLM部署框架

基于原生自回归模型架构的图像生成模型可以无缝采用现有的LLM部署框架,例如vLLM。这也是统一模型架构的一大优势。

3. 实验

3.1 Image tokenizers (图像量化器)

我们重新训练的image tokenizer在ImageNet和COCO上优于以前的tokenizers,包括VQGAN,ViT-VQGAN, MaskGIT。重要的是,基于离散表征的tokenizer与基于连续表征的VAE性能持平,例如在扩散模型中被广泛使用的SD VAE。这表明图像量化的离散表征不再是图像重建的一大瓶颈。

在这里插入图片描述

3.2 Class-conditional image generation

在ImageNet benchmark中,LlamaGen在 FID、IS、Precision和Recall等指标上都表现出了极强的竞争力,其中,LlamaGen-3B 模型优于广为流行的扩散模型 LDM和DiT。这表明最朴素的自回归模型架构有能力作为先进图像生成系统的基础模型。同时,与之前的自回归模型相比,我们的模型在各个参数量级上均优于以前的模型。这得益于更好的image tokenizer和Llama架构更好的扩展性。

在这里插入图片描述

3.3 Text-conditional image generation (文生图)

经过第一阶段的训练,模型基本拥有了图文对齐的能力,但其生成图像的视觉质量有待提高。第二阶段的训练显著提高了生成图像的视觉质量。我们认为这种提高来自两个方面:(1)第二阶段的训练使用了高质量的美学图像(2)第一阶段的图像分辨率是256x256,第二阶段是512x512,更大的图像分辨率会带来更好的视觉效果。

图片

当输入更长的文本时,LlamaGen也可以生成兼具图文对齐与视觉质量的图像。

图片

3.4 部署

基于vLLM部署框架,LlamaGen实现了326% - 414%的加速。

图片

4. 结语

如果以扩散模型的发展路线做类似,目前的LlamaGen只是Stable Diffusion v1阶段,改进方向包括SDXL(更大的分辨率,更多的aspect ratio),ControlNet(更高的可控性),Sora(视频生成)。

从多模态大模型的视角看,自回归模型分别实现理解任务和生成任务都被证明了可行性,下一步就是在同一个模型中联合训练。这需要更多的图文数据和更大的计算资源才能走得通,也可能由于文本数据和图像数据的内在distribution不同这条路走到后面不太行得通。

大模型时代,一切皆有可能!

​

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

基于Llama大语言模型的文生图框架:LlamaGen架构解析与实践指南 多模态生成模型是当前人工智能领域的重要研究方向,旨在让机器能够理解和生成跨模态内容,如文本与图像。其核心原理在于建立不同模态数据间的对齐与映射关系,通过统一的表示学习实现信息转换。这一技术具有显著价值,能够推动更通用、更智能的AI系统发展,在内容创作、视觉设计、人机交互等场景有广泛应用。本文聚焦于一个具体实践案例——LlamaGen,它创新性地将开源的Llama大语言模型改造为文生图模型。该项目通过视觉词元化技术,将图像生成任务转化为语言模型擅长的序列预测问题,探索了利用成熟LLM架构实现多模态生成的可行路 阅读详情

相关推荐

LocalAI本地AI推理实战:部署LLM、语音与文生图全攻略

本地AI推理正成为数据安全与离线应用的关键技术,其核心在于通过统一的接口屏蔽底层硬件的差异性。OpenAI兼容API的出现,让开发者无需修改业务代码即可在本地完成模型调用,而GGUF量化格式则大幅降低了CPU环境下的运行门槛。这种方案不仅支持大语言模型的对话补全,还能覆盖语音识别、文本转语音与文生图等多模态任务。Docker部署进一步简化了环境配置,使得内网或弱硬件场景也能快速搭建AI服务。本文从推理服务的通用原理出发,结合LocalAI这一开源项目,完整演示了LLM、语音和图像生成链路的落地步骤,并给出生

weixin_29531177的博客 324

在windows下使用本地AI模型提供翻译、对话、文生图服务

OllamaOllluma全面兼容MacOS、Linux和Windows系统,它提供简洁的一键式本地模型部署流程,并将API功能统一转换至与OpenAI相匹配的标准格式,旨在为您带来无缝且高效的使用体验。Docker Desktop 是一个由 Docker Inc. 开发的桌面应用软件,用于在 Windows、macOS 和 Linux 操作系统上运行本地容器。它提供了一种简单且易于使用的界面来启动和管理 Docker 容器,并提供了对一些常用工具(如 Kubernetes)的支持。

omnibots的博客 8255

本地部署开源大模型与图像生成:ChatGPT-5.6 Sol项目实践指南

大语言模型和扩散模型是当前人工智能领域的核心技术。大语言模型通过海量文本数据训练,能够理解和生成人类语言,其核心原理是基于Transformer架构的自注意力机制。扩散模型则通过逐步去噪的过程,从随机噪声生成高质量图像。这些技术为开发者提供了强大的内容生成与理解能力,其价值在于能够构建智能对话、创意辅助、自动化内容生产等应用。在实际工程中,本地部署开源模型成为兼顾数据隐私与成本控制的重要方案。通过整合如Llama、Qwen等开源大语言模型与Stable Diffusion系列图像模型,开发者可以在本地硬件上

weixin_34198453的博客 487

4B内最佳Ollama文生图视频模型推荐

4B内最佳Ollama文生图视频模型推荐

在经历了无数个黑夜之后,我决定自己成为太阳 7049

Ollama教程——生成内容API:利用Ollama的原生API进行AI应用开发

在深入探讨ollama的API接口之前,让我们先了解一下API接口的基本概念及其在软件开发中的作用。API,或称应用程序编程接口,是一套明确定义的通讯方法,允许不同软件应用之间交换数据和功能。它们是现代软件开发不可或缺的一部分,尤其是在构建模块化、可扩展和维护性强的系统时。在使用生成完成(Generate a Completion)API时,精确而具体的提示词将大大提高生成内容的相关性和质量。例如,在构建聊天机器人时,根据上下文和用户的具体问题设计提示词,能够使回答更加准确和自然。

walkskyer的博客 1万+

Ollama 的新视觉模型支持:综合指南

Ollama 最近增强了其功能,引入了对 Llama 3.2 视觉模型的支持,允许用户处理和分析除文本之外的图像。这种多模式功能是一次重大飞跃,使 AI 中更复杂的交互和应用成为可能。本文将详细介绍如何在检索增强生成 (RAG) 系统中设置和使用这些视觉模型。

iCloudEnd的博客 876

【性能革命】AuraFlow开源文生图模型全解析:从安装到商业级图像生成

你还在为Stable Diffusion的生成速度慢而烦恼?还在为Midjourney的API成本而犹豫?AuraFlow——这个完全开源的流场文生图模型(Flow-based Text-to-Image Model)将彻底改变你的工作流。作为目前最大规模的开源流场模型,它在GenEval基准测试中实现了SOTA(State-of-the-Art)性能,同时将图像生成速度提升40%。本文将带你从环...

gitblog_02408的博客 577

Android音频学习(十四)——加载音频设备

loadHwModule 是 Android 音频系统的核心初始化函数,负责加载音频硬件抽象层(HAL)的模块实现。它建立 AudioPolicyService 与底层硬件的桥梁,将配置文件(audio_policy_config.xml)中的标签<module>定义转化为可操作的硬件对象,加载的是音频硬件模块(HAL实现),每个模块对应一种音频设备类型,以动态库的形式存在,负责与底层音频硬件交互。

miemie2014的博客 1734

Llama也能做图像生成!港大字节推出开源自回归文生图模型,在线体验已开放...

LlamaGen团队 投稿量子位 | 公众号 QbitAI只需Image Tokenizer,Llama也能做图像生成了,而且效果超过了扩散模型。来自港大和字节的研究人员,提出了基于自回归模型Llama的图像生成方法。目前该模型已经开源,并在GitHub斩获了近900颗星标。扩散模型出现后,取代了自回归方法,一度成为图像生成的主流技术路线。但在ImageNet测试基准上,作者提出的LlamaGen...

量子位 580

搭建PX4开发系统(Ubuntu 22.04)

本文是《从零开始学 PX4 无人机开发》系列第二篇,适合开发者在 Ubuntu 系统下快速搭建 PX4 编译与仿真环境,支持 QGroundControl、Gazebo、MAVSDK 等完整工具链。

qq_15856721的博客 4225

Frenet坐标系下动态街道场景的最优轨迹生成

本文详细解读了Lattice Planner

BigDavid123的博客 2394

丹摩征文活动 | 带你玩转开源模型,一起来部署SD3+ComfyUI文生图模型

Stable Diffusion 3是Stability AI推出的一款先进的文本到图像的开源模型,SD3以其图像质量、文本内容生成、复杂提示理解和资源效率方面的显著提升而备受期待。 SD3 Medium版本包含20亿参数,体积小,适合在消费级PC和笔记本电脑上运行,使得普通用户也能轻松部署在自己的电脑上使用。 SD3在图像生成方面表现出色,能够生成细节逼真、色彩鲜艳、光照自然的图像,并能灵活适应多种风格,如动漫、厚涂等,无需微调,仅通过提示词即可生成。

忆~遂愿的博客 1757

深入剖析:NAND Flash与SD NAND(贴片式SD卡)存储扇区分配表架构差异与优化策略

本文深入探讨了NAND Flash与SD NAND(贴片式SD卡)在存储技术中的架构差异及其优化策略。NAND Flash作为非易失性存储器,依赖主控芯片进行坏块管理和磨损均衡,而SD NAND则通过内置控制器和标准文件系统(如FAT)简化了存储管理。两者在写入性能、容量扩展和可靠性方面各有优劣,NAND Flash需通过磨损均衡和写入合并优化性能,而SD NAND则通过高容量和高速传输提升效率。文章为嵌入式系统开发者和硬件工程师提供了关于如何根据需求选择并优化存储介质的参考。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1243

国产17B文生图模型HiDream-I1:ComfyUI原生支持实现2K图像秒级生成

2025年4月开源的国产文生图模型HiDream-I1凭借170亿参数规模与ComfyUI官方支持,正重新定义开源图像生成的技术边界,让消费级显卡也能流畅运行大模型。 ## 行业现状:开源模型的军备竞赛 当前文生图领域呈现"参数竞赛"与"效率突围"并行的格局。据Artificial Analysis 2025年Q2报告,主流开源模型参数已从2024年的7B跃升至17B,但伴随的显存需求(通常24

gitblog_01179的博客 683

eDP、DP与HDMI——现代显示接口的核心解析

eDP、DP和HDMI各有千秋:eDP以嵌入式设备的低功耗见长,DP凭借开放生态和高带宽成为专业领域首选,而HDMI则依靠庞大的消费电子生态稳居家庭市场。未来,随着Type-C接口的普及和超高清内容的爆发,三者的技术边界可能进一步融合,但各自的核心优势仍将长期共存。对于用户而言,选择接口需基于设备需求——游戏玩家青睐HDMI的VRR,设计师依赖DP的多屏扩展,而轻薄本则离不开eDP的紧凑设计。

麟的博客 8439

手把手教你学Simulink--基于电能质量与无功补偿的场景实例:统一电能质量调节器(UPQC)的联合控制仿真

在现代电力系统中,电能质量问题有源电力滤波器(APF)→ 治理谐波与无功动态电压恢复器(DVR)→ 补偿电压暂降/暂升静止无功发生器(SVG)→ 无功补偿与电压支撑而统一电能质量调节器(Unified Power Quality Conditioner, UPQC)是一种集串联补偿与并联补偿于一体的全能型电能质量治理装置✅ 电压类问题:暂降、暂升、不平衡、闪变✅ 电流类问题:谐波、无功、三相不平衡✅ 实现双向有功交换(储能型)串联单元(DVR功能):串联于线路,控制电源侧电压质量并联单元。

MHD0815的博客 241

阿里云通义万相图像生成能否结合Llama-Factory做文本引导优化?

本文探讨如何利用Llama-Factory对Qwen系列模型进行微调,构建前置文本增强器,以优化阿里云通义万相的图像生成效果。通过专业化prompt重写,提升文生图任务中语义理解准确性,解决风格、动作等关键要素表达偏差问题,实现高效、低成本的AIGC内容生产。

weixin_36328210的博客 585

OpenHarness代码解读

Harness 是包裹在大模型之外、为其赋予完整执行能力的全套基础设施。模型负责提供智能与推理,Harness 则为模型提供感知、行动、记忆、工具与安全约束,使其从语言模型变成可自主完成复杂任务的实用智能体。我这里把向量数据库方案定义为:把对话片段、事件、偏好、工具结果等切成 memory chunks,做 embedding,存进向量库,查询时靠 ANN 相似度召回,再交给 LLM 读。AAAI 的综述类论文就明确指出,很多 LLM agent 的长期记忆就是这么做的。AAAI 期刊把文件系统方案。

qq_52053775的博客 188

HiDream-I1-Full-FP8提示词教程:10个技巧让17B文生图模型画出更惊艳的图

HiDream-I1-Full-FP8 是 Unsloth 发布的 17B 参数开源文生图模型 HiDream-I1 的 FP8 / INT8 量化版本,能在显存减半的前提下以接近 bf16 原版的画质跑图。本文是一份面向新手的完整提示词教程:用 10 个实用技巧 + 快速上手步骤,让你用更低的硬件成本,写出让这款模型输出更惊艳画面的提示词。 ## HiDream-I1-Full-FP8 是什么

gitblog_06811的博客 192

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【AIGC】Kolors:快手开源的文生图大模型

Kolors:快手开源的文生图大模型

qq_44091004的博客 1827

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

LlamaGen论文精读 Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation

超级详细的论文阅读+翻译

weixin_73545092的博客 1491

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

WuliArt Qwen-Image Turbo开源可部署:个人GPU友好型文生图系统完全开源

本文介绍了如何在星图GPU平台上自动化部署🎨 WuliArt Qwen-Image Turbo镜像,实现高效的AI图片生成。该平台简化了部署流程,用户可快速搭建个人文生图系统,应用于创意设计、社交媒体配图等场景,大幅提升图像创作效率。

SilverfoxFalcon42的博客 830

在行空板上部署AI大模型:混合边缘计算实现文生文与文生图

边缘计算通过在靠近数据源或用户的设备上进行数据处理,有效降低了延迟、节省了带宽并增强了隐私保护。其核心原理是将云端智能下沉至网络边缘,利用本地算力完成部分或全部计算任务。这一技术价值在于为物联网、智能硬件等场景提供了实时、可靠的AI能力。在嵌入式开发中,如何在资源受限的设备上高效运行AI模型成为关键挑战。通过采用混合边缘计算架构,结合本地轻量化模型与云端API,可以在行空板这类开源硬件上实现ChatGPT式的对话和Stable Diffusion风格的文生图功能。该方案平衡了性能与成本,为创客和教育领域提供

csxc65837的博客 331

智能体驱动的图像生成:从端到端黑箱到可规划工具使用

多模态模型通过端到端方式将文本直接映射为图像,但其本质是基于概率的猜测,在应对复杂、组合性强且需要精确外部知识的任务时,往往在细节和逻辑一致性上力不从心。其核心原理在于模型缺乏分步推理、调用外部知识或工具的能力。为解决这一问题,智能体(Agent)思维被引入,它通过规划与使用工具,将图像生成从一次性采样转变为可规划、可验证、可迭代的创作流程。这种技术架构的价值在于能够显著提升生成结果在复杂构图、空间关系和细节精确度上的可控性,尤其适用于游戏美术、电影分镜、产品设计和广告创意等专业领域。本文探讨的ToolAr

weixin_33836874的博客 315
上一篇: ChatDoctor: 在大型语言模型Meta-AI (LLaMA)上使用医学领域知识进行微调的医疗聊天模型
下一篇: 吃瓜Llama3-V之余,看多模态大模型架构演变!
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值