WX_Chen的博客

国内模型GLM-4-Plus、SenseChat 5.5、AndesGPT-2.0和Qwen2.5-72B-Instruct排名国内并列第一，有接近70分的表现，小幅落后于ChatGPT-4o-latest。（2）紧随其后的位列国内 Top10 的模型有 Hunyuan-Turbo、360gpt2-pro、Step-2-16k、DeepSeek-V2.5、Doubao-pro-0828、Baichuan4、山海大模型4.0、TeleChat2-Large，均有不俗表现。

智谱清言ChatGLM，GLM全称”General Language Model“ 来源自清华的一篇论文——基于自回归空白填充目标的通用预训练框架，作为国产第一梯队的自研模型，这也是后续智谱AI发布的所有AI应用的底座。大模型是指拥有超过10亿个参数的深度神经网络，它们能够处理海量数据、完成各种复杂的任务，如自然语言处理、计算机视觉、语音识别等。华为盘古AI大模型包括了NLP大模型、CV大模型、科学计算大模型等多个AI大模型在内的合集，使其可以被应用到科学研究、教育、交通、工业等多个行业中。

PEFT（Parameter-Efficient Fine-Tuning）是hugging face开源的一个参数高效微调大模型的工具，里面集成了4种微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果，使得在GPU资源不足的情况下也可以微调大模型。而当训练好新的参数后，利用重参的方式，将新参数和老的模型参数合并，这样既能在新任务上到达fine-tune整个模型的效果，又不会在推断的时候增加推断的耗时。低秩矩阵是指在线性代数中，其秩（即矩阵中线性无关的行或列的最大数目）较低的矩阵。