任务
背景问题:近期相关研究发现,LLM在对比浮点数字时表现不佳,经验证,internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题,例如认为13.8<13.11。
任务要求:利用LangGPT优化提示词,使LLM输出正确结果。
工作准备
准备好开发机+配置环境。开发机之前已经配置过了,这里不再赘述。我们直接配置环境。
模型部署的时候依赖库有torch,torch比较大下载过程比较缓慢。我们看下 InternStudio 上有没有现成的环境可以用
可以看到,有一个现成的 pytorch-2.1.2 可以用。
我们使用 InterStudio 提供的快速创建 conda 环境的方法创建我们自己的环境
studio-conda -t langGPT -o pytorch-2.1.2
创建完成后,我们再安装其他的必备库
# 安装其他依赖
pip install transformers==4.43.3
pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmde