In-Context Clustering with Large Language Models

一、文章主要内容总结

文章围绕“上下文聚类（ICC）”展开，分四个核心部分验证其有效性：

1. 零样本聚类能力：预训练LLM（如GPT-4o、Llama系列）在文本编码的数值数据上表现出优秀零样本聚类性能，尤其在非高斯（重尾分布）数据上，准确率显著超过k-means。
2. 注意力机制的聚类结构：LLM中间层的注意力矩阵会自然呈现聚类模式，基于这些矩阵的谱聚类能达到比直接生成标签更高的准确率（如Llama-3.1-8b-Instruct未微调时，谱聚类准确率85%，直接生成仅74%）。
3. 微调提升性能：通过LoRA微调，用“下一个token预测（NTP）”损失在合成聚类数据上训练后，小型LLM（如1B、3B参数的Llama模型）在数值数据和图像数据上的聚类准确率大幅提升，甚至超过GPT-4o和k-means（如Llama-3.1-8b-Instruct微调后，在df=1的t分布数据上准确率达90.66%，k-means仅67.95%）。
4. 文本条件化聚类：ICC支持文本控制的图像聚类（如“按颜色聚类”“按前景物体聚类”），而传统方法和基于图像描述的聚类（如IC|TC）无法灵活切换聚类目标，且易受描述质量限制。

二、文章创新点

1. 无监督上下文学习扩展：首次将LLM的“上下文学习（ICL）”从有监督场景扩展到无监督聚类，仅需无标签数据和文本指令即可生成聚类标签，无需更新模型权重。