weixin_57336987的博客

Download Ollama on Windows](https://ollama.com/download) Ollama官网下载安装后,ollama在c盘模型安装路径也默认为c盘,如需更改可以更新环境变量在ollama安装路径下启动cmd ollama run qwen2.5:7B 即可自动下载并运行。

PEFT（Parameter-Efficient Fine-Tuning）参数高效微调方法是目前大模型在工业界应用的主流方式之一，PEFT 方法仅微调少量或额外的模型参数，固定大部分预训练参数，大大降低了计算和存储成本，同时最先进的 PEFT 技术也能实现了与全量微调相当的性能.该方法可以使 PLM 高效适应各种下游应用任务，而无需微调预训练模型的所有参数，且让大模型在消费级硬件上进行全量微调（Full Fine-Tuning）变得可行.

2018年6月发表，OpenAI公司发表了论文“Improving Language Understanding by Generative Pre-training”《用生成式预训练提高模型的语言理解力》, 推出了具有1.17亿个参数的GPT-1（Generative Pre-training , 生成式预训练）模型.模型架构GPT采用了Transformer的Decoder模块. 但是GPT的Decoder Block和经典Transformer Decoder Block还有所不同。

定义大语言模型 (英文：Large Language Model，缩写LLM) 是一种人工智能模型, 旨在理解和生成人类语言. 大语言模型可以处理多种自然语言任务，如文本分类、问答、翻译、对话等等.通常, 大语言模型 (LLM) 是指包含数千亿 (或更多) 参数的语言模型(目前定义参数量超过10B的模型为大语言模型)，这些参数是在大量文本数据上训练的，例如模型 GPT-3、ChatGPT、GLM、BLOOM和 LLaMA等.语言模型的发展历程。