secgpt webdemo.py运行

1.错误1：

RuntimeError: Expected one of cpu, cuda, ipu, xpu, mkldnn, opengl, opencl, ideep, hip, ve, fpga, ort, xla, lazy, vulkan, mps, meta, hpu, mtia, privateuseone device type at start of device string: auto

解决办法:将以下代码中device直接设置为”cuda"

2.错误2：
回答很慢且乱码，或是报RuntimeError: probability tensor contains either inf, nan or element < 0


在代码中加上：

os.environ['CUDA_VISIBLE_DEVICES'] = "0,1"

根据自己的gpu性能和显存情况设置os.environ[‘CUDA_VISIBLE_DEVICES’]，若还是推理很慢或报显存不够的错误，首先看设置的gpu有没有被别的程序占用，若没有就多设几张卡，如“0，1，2”。
ps: secgpt是基于baichuan-13b训练的，运行baichuan时也可能出现RuntimeError: probability tensor contains either inf, nan or element < 0错误，同样可以通过设置os.environ[‘CUDA_VISIBLE_DEVICES’]解决