- 博客(2)
- 收藏
- 关注
RSS订阅原创 RAG灌库，帮助大模型背诵古诗
我尝试使用chat-gpt和Chatglm-6b去鉴赏古诗文，在他们能正确的知道古诗的时候，鉴赏能力还是不错的，但是他们很多时候会将古诗背诵错误，诗人或者诗句背诵错误，并且他们还非常自信。所以，我使用RAG给大模型增加一下知识库，这样就不需要微调了（我的最终目标是想部署一个可以精确鉴赏诗歌的模型，目前也在努力中）。
2024-09-26 22:35:41
683
原创 Chatglm-6b云服务部署及微调
下面是我自己微调的，不过因为数据集太少了，并且只用到了微调，所以效果很差。上下载了模型，但是这个里面并没有包含模型，在这个github中的代码里面的模型是从huggingface中加载的，建议是从huggingface中下载，因为模型的checkpoint挺大的，下载了几次也都失败了。首先是租用一个云服务器，我是在autodl中租用的服务器，租用的是16G的显存，虽然在训练的过程中显存只需要6.7G，但是呢在推理的过程中12G的显存运行不稳定我就直接换成16G的了。同理修改一下模型的路径这样就可以运行了。
2024-09-23 20:49:13
1135
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人