XD的博客

另一方面，这个架构对于硬件的依赖是很深的，可以看到，现在的大模型越来越依赖参数量的大小，从而对硬件的依赖也越来越深， 巨大的参数量代表着训练和推理对机器资源的要求更高，更大。比如 2010年以前大家更多的是使用机器学习算法， 它的优点是可解释性更强，但是机器学习算法对于CV和NLP的支持并不是很好，当时的NLP和CV领域大多数还是用的专家系统或者规则， 当时也有LSTM和CNN等深度学习模型，但是由于算力的局限性，造成了一直没有在工业界普遍的应用。那么，如何让大模型变得更聪明呢？

开源：包括模型源码开源， 论文或者技术文章开源， 预训练的参数也开源，目前比较流行的大模型开源网站包括 huggingface，国内的魔搭社区等闭源：只提供api接口或者web访问服务，一般有公司运营优化。服务分为免费版和收费版。