一、文章主要内容总结
该研究聚焦于自然语言驱动的可缩放矢量图形(SVG)生成,核心解决现有文本到SVG生成方法依赖光栅图像中间步骤、数据集规模小/序列短、生成结果可编辑性差等问题,主要内容如下:
- 数据集构建:提出HeisenVec数据集,包含220万条SVG样本,每条样本搭配4个来自多模态模型(BLIP2、Florence2、Idefics3)的文本描述。通过标准化 pipeline 统一几何基元为路径、应用仿射变换、压缩语法等,确保数据结构一致性,支持长上下文建模(样本最长达32k tokens)。
- 模型开发:推出vHector模型家族,基于LLaMA 3.1/3.2骨干网络,新增17个SVG专用令牌,采用自回归序列到序列架构:
- 基础模型(vHector-8B/3B):适配8k tokens以内的SVG生成,全参数微调确保语法正确性和几何连贯性;
- 长上下文模型(vHector-3B-long/exlong):通过LoRA适配器扩展至16k/32k tokens,实现大规模复杂矢量图形生成。
- 基准与评估:构建文本到SVG基准测试框架,包含数据集加载器、令牌化工具、评估指标(CLIP-S、几何一致性、编辑距离等),并通过FID、LPIPS、人类偏好分数(HPS v2)等验证模型性能。
- 实验结果:vHector模型在语义对齐、视觉保真度和结构有效性上显著优于现有LLM-based方法,H
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



