DeepSeek掘金——Google Colab运行DeepSeek R1

DeepSeek掘金——Google Colab运行DeepSeek R1

最近我在测试本地运行DeepSeek R1，但CPU温度太高了。我的朋友说你为什么不使用 Google Colab？因为它为你提供了一个 免费GPU

最近，我尝试在没有任何 GPU 的情况下在本地运行使用 Qwen 7B 蒸馏的 DeepSeek R1。我的所有 CPU 核心和线程都被推到了极限，最高温度达到 90 摄氏度（Ryzen 5 7600）。

我的朋友说你为什么不使用 Google Colab？因为它为你提供了一个 GPU（免费使用 3-4 小时）。他一直在使用它来解析超过 80 页的 pdf 并链接 LLM，因为我们仍然可以滥用（使用）google colab。

我确实尝试了 T4（20 系列），但有一些注意事项（我稍后会解释，TL:DR，因为它是免费的）。所以我一直在用它在 Google Colab 中测试 VLLM。使用 FastAPI 和 ngrok 向公众公开 API（出于测试目的，为什么不呢？）。

好吧，是时候解释一切以及我为什么这样做了。

（警告，这仅用于测试目的）。

1、PIP（Pip 安装包）

它允许你安装和管理标准 Python 库中未包含的其