- 博客(10)
- 收藏
- 关注
RSS订阅原创 04_Ollama + gpt-oos(open ai)
Ollama是一个开源LLM推理框架工具，支持在本地计算机上运行和管理大型语言模型（如Llama、gpt-oss等）。其核心优势在于无代码化运行LLMs，提供类似Docker的简化部署体验，用户可通过简单命令直接交互。安装支持脚本自动或手动方式，并可配置为系统服务运行。支持国内镜像源加速下载，常用命令包括模型拉取、运行、删除等。运行大模型需较高显存（如gpt-oss 20b需16G显存）。环境变量可灵活配置服务器、模型目录等参数。
2025-09-17 16:47:43
826
原创 09_wsl2+Ubuntu+docker(个人AI大模型开发测试运行基础环境2)
为什么要用 docker?目前大部分LLM 推理框架都支持 docker 的方式安装，好处是可以快速的搭建好环境，不需要安装组件的依赖，一键安装与删除。没有安装 wsl2 的 参考。
2025-08-30 18:11:31
1148
原创 08_Win+wsl2+Ubuntu(个人AI大模型开发测试运行基础环境)
conda 有了、ptyhon 有了、pip 有了、pycharm也有了，现在就差一个操作系统就可以进入跑大模型的步骤了。当然如果你是纯用python 项目开发也可以参考这个方式，参考。
2025-08-29 18:52:25
1081
原创 05_pip (依赖管理)
是 python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。我更喜欢把 pip 理解为依赖管理工具，就像redhat、centos 的Debian 、Ubuntu 的yum、apt 你安装一个包它会把所有与之相关依赖包都帮你装好，不用一个一个的安装(使用过工具的同学应该都懂解决依赖的坑)，但是如果使用(Debian PacKaGe manager) 这些包管理工具它可不会帮你安装依赖包。注：看到这里或许你又要问了“嗯，好问题。
2025-08-27 16:42:28
1216
原创 03_conda (环境管理)
conda 用于管理 python 的环境，或许你又要问了“因为 不管是 python 开发还是运行 AI 大模型 python 的版本和 库的版本都各种各样，如果。conda 从安装包上分为 anaconda 和 miniconda ， 两者功能是一样的，只是安装包里面所含库的数量不一样。anaconda 可以理解为全量包，miniconda 可以理解为轻量包(只包含核心功能)，我们一般是使用 miniconda。以下介绍都是以 miniconda为例。
2025-08-26 15:46:21
1280
原创 AI 运行环境基础常识1
一、AI 核心三要素： 数据 + 算法 + 算力这里先介绍算力，后续再补充数据与算法## 算力这里的算力指的是GPU算力，就个人而言一般就是消费级的显卡。对企业而言：大力出奇迹，没什么好说的，算力超高越好、显存越大越好。对个人而言：1、建议使用 nvidia（中国大陆译名：英伟达，港台译名：辉达）的显卡，如果你对自己特别有自信且想折腾的可以选择 AMD、intel的显卡。初学一般不建议使用AMD、intel的显卡，因为搭环境有很多坑，踩多几次掉血厉害，到时你就没什么兴趣继续学习了。
2025-08-26 11:37:09
522
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人