- 博客(2)
- 收藏
- 关注
RSS订阅原创 深度学习（3090）装机
4.内存上，DDR5比ddr4提升还是比较大的，而且ddr5和ddr4的主板不兼容，以后一定是ddr5的天下，所以选择未来，选择ddr5。英伟达已经在并行计算领域深耕多年，搭配其cuda生态，用户可以很方便的完成大模型的本地部署，并行计算和深度学习模型的修改搭建等。2.人工智能专业的同学在学习深度学习和强化学习等的时候需要很大的并行计算的算力，部署和调试大语言模型需要尽可能大的内存空间。6.大语言模型非常占内存，比如千问2-72B有进400GB之大（虽然我跑不了），所以，购买2条1t ssd硬盘。
2024-09-06 23:20:09
815
1
原创 xinference[Transformers]部署qwen2-7b（最后用的Transformers）
git clone https://www.modelscope.cn/qwen/Qwen2-7B-Instruct.git 使用qwen2-7b-instruct模型。#远程机器可以用端口映射 ssh -L:9997:localhost:9997 root@#查看cuda版本（注意nvidia-smi是查看最高支持版本，查看安装版本是nvcc -V）#部署xinference服务环境。#安装xinference。#启动xinference。#如此，便可以访问了。
2024-09-06 13:19:45
828
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人