思考:从普通用户的角度而言,大模型选择的初步考量

  • 模型的功能和用途,是否满足做自己的需求?
  • 采用 CPU,还是 GPU 来运行模型:速度与烧钱成正相关。有些模型运行工具,只有 GPU 版本。
  • 模型的参数:同一模型,在相同量化的情况下,一般而言,B值越大,也就是参数越多,推理的精确度越高。
  • 算力:B值越大,对电脑硬件的性能要求越高。现有电脑的性能是否满足?
  • 最好的,未必是最适合的:有的模型,只给出典型的和最多的 B值模型,毕竟模型训练调参很是烧钱的。这类模型的最小 B 值可能都会超出自己现有电脑的硬件能力,导致即使可以安装,与会慢得像蜗牛。
  • 安全与保密:在不需要保密时,直接采用模型提供商的公开产品。但需要保密时,则可能必须采用私有化部署了。
  • 在私有化部署时,需要考虑:模型与运行模型工具之间的相互配合。cli ? gui ?
  • 直接采用各大 AIGC 提供商的云端 AI 产品,会省时省力。但有时需要考虑保密,以及自由无限制的问题?
  • 进行模型训练时,需要考虑性能稳定可靠的 GPU算力提供商。否则,可能运行到快要完成的时候,机器就挂掉了;这意味着,可能时间和金钱都浪费了?
  • 大模型只是一个具有输入和输出的黑盒子?还需要:工作流?智能体(AI agent)?
  • 其他,例外?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值