文献阅读《Advancements in the application of large language models in urban studies》—大语言模型在城市计算中几种技术路径

文献完整标题

《Advancements in the application of large language models in urban studies: A systematic review》

引用

Xia, Junhao, Yao Tong, and Ying Long. “Advancements in the application of large language models in urban studies: A systematic review.” Cities 165 (2025): 106142.

这篇文章将LLM在城市计算中的技术路径分为了三类，主要

1. 直接使用预训练模型（zero-shot/few-shot）
2. 微调或指令调优（instruction-tuning）
3. 自定义 LLM 结构（domain-specific LLMs）

一、直接使用预训练语言模型（Zero-shot / Few-shot using Pretrained LLMs）

最简单、也是最灵活的一种方式，就是直接调用预训练好的大模型，比如 OpenAI 的 ChatGPT、Google 的 Gemini、或 HuggingFace 上开源的 LLaMA、BERT 等。我们可以通过设计提示词（Prompt），也就是设计一些提问的方式，让模型在没有任何额外训练的情况下，完成具体任务，比如：

• Zero-shot：不提供样例，直接提问模型。

• Few-shot：在 prompt 中附带1–5个任务样例引导模型理解。

优点

• 不依赖额外的训练数据，仅通过设计合适的 Prompt，就能实现多种任务的零样本（zero-shot）或少样本（few-shot）推理。充分利用了大模型在海量语料上的预训练知识，在缺乏领域标注数据的情况下，尤其适用于问答系统、政策摘要、文本分类、城市舆情分析等任务。
• 部署灵活，上手门槛低

缺点

模型输出可控性较差、幻觉信息（hallucination）风险高、领域适配性不足等，因为并没有专业领域的数据进行训练，这种原生模型会的领域多，但是针对性较差

二、微调或指令调优模型（Fine-tuning / Instruction-tuning）

如果你觉得原生模型"懂得不够深”，那就在原有模型基础上进行微调，也就是给他新的专业领域的数据集让他再次训练

微调或指令调优是在预训练大语言模型的基础上，结合领域内的标注数据集进行定向训练，以增强模型对特定任务的理解和生成能力。

• 微调（fine-tuning）通常会对模型参数进行更新，使其在保持原有语言能力的同时，能够更准确地完成特定类型任务；
• 指令调优（instruction-tuning）则通过引入多种“问题-答案”示例，提高模型对特定自然语言指令的响应一致性。

此类方法主要用于政策文本解读、个性化出行推荐、法律法规问答、时空行为分类等任务

优点

• 提高模型在目标任务的准确性
• 保留 LLM 的强语言能力
• 比完全自定义训练成本更低

缺点

• 工作量大，需要标注数据，训练资源

三、自定义领域专属语言模型（Domain-specific LLMs）

此类技术路径就是从底层设计一个新的LLM模型架构来适配自己的任务，包括 tokenizer、embedding以及注意力机制等等都需要针对自己的任务进行设计

优点

• 针对性很强，因为是针对特定的任务设计的模型

缺点

• 成本高，时间周期长（需要很长时间进行设计、训练、验证、调整）
• 可复用性弱，通用LLM在任何领域都能够解决一些简单的问题，但是此类模型仅能针对当前问题。