
【导语:Gemma 4 E2B 大语言模型与 TurboQuant 算法结合,可在浏览器中直接生成 Excalidraw 图表,且代码大幅压缩,对内存要求也有相应特点,在 GPU 和 CPU 端都有实现方式。】

只需描述任意图表,Gemma 4 E2B 就能在桌面版 Chrome 134 及以上版本的浏览器中直接生成 Excalidraw 图表。这一功能为用户带来了极大的便利,无需复杂的操作即可快速生成所需图表。

大语言模型(LLM)输出的是紧凑代码,约 50 个 token,相比原始的 Excalidraw JSON 数据(约 5000 个 token),压缩了约 100 倍。TurboQuant 算法(polar + QJL)可将键值(KV)缓存压缩约 2.4 倍,让更长的对话能存入 GPU 内存,不过该功能需要 WebGPU 子组支持,目前 Safari/iOS 尚不支持,且需要约 3GB 的 RAM,而移动浏览器的内存上限远低于此。

此演示在 WGSL 计算着色器中重新实现了 TurboQuant 算法,使其能在 GPU 上以每秒 30 个以上的 token 速度运行。其姊妹 npm 包 [turboquant - wasm] 在 WASM + SIMD 中实现了相同的算法,用于 CPU 端的向量搜索。
编辑观点:该技术突破为图表生成带来新方式,代码压缩和多端实现提升了效率,但对设备和环境有一定要求,未来需进一步优化以扩大应用范围。



被折叠的 条评论
为什么被折叠?



