大模型应用开发理解
开发以大语言模型为功能核心、通过大语言模型的强大理解能力和生成能力、结合特殊的数据或业务逻辑来提供独特功能的应用。
在大模型开发中,我们一般不会去大幅度改动模型,而是将大模型作为一个调用工具,通过 Prompt Engineering、数据工程、业务逻辑分解等手段来充分发挥大模型能力,适配应用任务,而不会将精力聚焦在优化模型本身上。
模型库(相当于maven仓库的原理)
1、huggingface 网址 https://huggingface.co/
2、魔塔社区 网址:https://modelscope.cn/home
使用python sdk方式下载模型到本地
- python 使用modelscope 库从魔塔社区下载,示例:
安装 modelscope
pip install modelscope
执行sdk下载
from modelscope import snapshot_download
model_name = 'Qwen/Qwen2.5-VL-72B-Instruct'
download_path = '/path/to/your/desired/folder'
snapshot_path = snapshot_download(model_name, cache_dir=download_path)
print(f'Model downloaded to: {snapshot_path}')
model_name 获取是从如下位置: