Unlocking the conversion of Web Screenshots into HTML Code with the WebSight Dataset

本文是LLM系列文章，针对《Unlocking the conversion of Web Screenshots into HTML Code with the WebSight Dataset》的翻译。

摘要

在web开发中使用视觉语言模型（VLM）提供了一种很有前途的策略，可以提高效率并解锁无代码解决方案：通过提供UI的屏幕截图或草图，VLM可以生成代码来复制它，例如用HTML等语言。尽管VLM在各种任务中取得了进步，但将屏幕截图转换为相应HTML的具体挑战却很少被探索。我们认为这主要是由于缺乏合适的、高质量的数据集。这项工作介绍了WebSight，这是一个由200万对HTML代码及其相应屏幕截图组成的合成数据集。我们在数据集上对基础VLM进行了微调，并熟练地将网页截图转换为功能HTML代码。为了加快这一领域的研究，我们开源了WebSight。

1 引言

2 相关工作

3 数据集的构造

4 在WebSight上微调基础视觉语言模型

5 定性评估

6 结论

在这项工作中，我们介绍了WebSight，一个由200万对HTML代码和相应渲染组成的大型合成数据集，以及Sightseer，一个在WebSight上微调的具有OCR能力的视觉和语言模型，作为将网页截图自动转换为HTML代码的贡献。通过利用合成数据生成和在数据