Discovering More Effective Tensor Network Structure Search Algorithms via Large Language Models

本文是LLM系列文章，针对《Discovering More Effective Tensor Network Structure Search Algorithms via Large Language Models (LLMs)》的翻译。

摘要

张量网络结构搜索（TN-SS）旨在搜索表示高维问题的合适张量网络（TN）结构，在很大程度上提高了TN在各种机器学习应用中的效率。尽管如此，使用现有算法找到令人满意的TN结构仍然具有挑战性。为了开发更有效的算法，避免人工费力的开发过程，我们探索了嵌入大型语言模型（LLM）中的知识，用于TN-SS算法的自动设计。我们的方法被称为GPTN-SS，利用了一个精心制作的基于LLM的提示系统，该系统以类似进化的方式运行。来自真实世界数据的实验结果表明，GPTN-SS可以有效地利用从现有方法中获得的见解来开发新的TN-SS算法，从而在探索和开发之间实现更好的平衡。这些算法在搜索用于自然图像压缩和模型参数压缩的高质量TN结构方面表现出优异的性能，同时也表现出其性能的可推广性。

1 引言

2 基于样本的张量网络结构搜索（TN-SS）算法

3 基于LLM的张量网络结构搜索算法的自动设计

4 实验结果

结论和局限性

我们的经验结果证实了LLM对TN-SS的积极影响。具体而言，所提出的GPTN-SS方法可以利用从现有算法中获得的见解和LLM中嵌入的知识，自