大模型部署手记（18）Windows+JupyterLab+Nemo+Llama2+llama-index+语音对话机器人

最近在Nvidia上了一课：《基于 LLM 构建中文场景检索式对话机器人：Llama2+NeMo》

于是张小白很想在Windows GPU上试一试。

打开Jupyter Notebook

系统会弹出以下窗口：

复制上面的链接：

http://127.0.0.1:8888/?token=7779a3c170bdf513646f6e631fc0ee12e7686216eedce604

在浏览器打开：

点击New-》Terminal：

在弹出的窗口中输入conda env list

可以看到前面玩转大模型使用的conda环境清单。

new一个notebook:

不过这种方法貌似不好使用conda环境。

换一种方式：

打开 Anaconda Powershell Prompt 创建一个conda环境

conda create -n nemo python=3.10 -y

conda activate nemo

根据 GitHub - NVIDIA/NeMo: NeMo: a toolkit for conversational AI

安装Pytorch：

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

安装Nemo：

#apt-get update && apt-get install -y libsndfile1 ffmpeg pip install Cython

pip install nemo_toolkit['all']

经过漫长的等待和重试之后：

pip install fasttext

查看 windows使用pip 安装 fasttext 总是失败，合理利用第三方安装包的库_安装pyfasttext0.4.5版本失败-优快云博客

打开 https://www.lfd.uci.edu/~gohlke/pythonlibs/

搜索fastte