m0_54235621的博客

依赖人工设计的特征和规则，结合统计学模型解决NLP任务。需要大量标注数据和领域知识，特征提取繁琐（如词性标注、句法分析）：利用神经网络自动学习特征，减少人工干预。：通过无监督预训练学习通用语言表示，再通过少量标注数据微调适配下游任务。：预训练成本高，微调可能过拟合小数据集：重构下游任务形式以匹配预训练目标（如完形填空），实现少样本/零样本学习。：Prompt-Tuning、P-Tuning（连续提示）、LoRA（参数高效微调）。：从特征工程→架构工程→目标工程→Prompt工程，人力投入逐渐减少。

大语言模型 (英文：Large Language Model，缩写LLM) 是一种基于深度学习的自然语言处理的人工智能模型, 旨在理解和生成人类语言. 通常使用Transformer架构，通过大规模数据训练，具备文本理解、生成、推理、对话等能力。