- 模型的功能和用途,是否满足做自己的需求?
- 采用 CPU,还是 GPU 来运行模型:速度与烧钱成正相关。有些模型运行工具,只有 GPU 版本。
- 模型的参数:同一模型,在相同量化的情况下,一般而言,B值越大,也就是参数越多,推理的精确度越高。
- 算力:B值越大,对电脑硬件的性能要求越高。现有电脑的性能是否满足?
- 最好的,未必是最适合的:有的模型,只给出典型的和最多的 B值模型,毕竟模型训练调参很是烧钱的。这类模型的最小 B 值可能都会超出自己现有电脑的硬件能力,导致即使可以安装,与会慢得像蜗牛。
- 安全与保密:在不需要保密时,直接采用模型提供商的公开产品。但需要保密时,则可能必须采用私有化部署了。
- 在私有化部署时,需要考虑:模型与运行模型工具之间的相互配合。cli ? gui ?
- 直接采用各大 AIGC 提供商的云端 AI 产品,会省时省力。但有时需要考虑保密,以及自由无限制的问题?
- 进行模型训练时,需要考虑性能稳定可靠的 GPU算力提供商。否则,可能运行到快要完成的时候,机器就挂掉了;这意味着,可能时间和金钱都浪费了?
- 大模型只是一个具有输入和输出的黑盒子?还需要:工作流?智能体(AI agent)?
- 其他,例外?
思考:从普通用户的角度而言,大模型选择的初步考量
于 2025-02-01 11:23:41 首次发布