- 博客(137)
- 收藏
- 关注
RSS订阅
原创 LLM | ChatGLM.cpp 安装使用（支持CPU、Metal及CUDA推理）
还支持没写到的 Function call、Code interpreter、多模态问答等
2024-09-30 23:57:14
758
原创 ENV | Python 虚拟环境安装使用（Anaconda 完整实操版）
本文详细介绍了 Anaconda 的安装、配置和使用过程。内容包括在不同操作系统上的安装步骤，设置国内镜像源，管理 Python 虚拟环境，以及使用 conda 和 pip 安装、卸载第三方库。
2024-09-21 21:28:30
2361
1
原创 Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署）
1. 详细步骤1.1 安装# CUDA/CPUpip install "xinference[transformers]"pip install "xinference[vllm]"pip install "xinference[sglang]"# Metal(MPS)pip install "xinference[mlx]"CMAKE_ARGS="-DLLAMA_METAL=o...
2024-10-13 22:40:42
995
原创 llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）
1. 详细步骤1.1 安装 cuda 等 nvidia 依赖(非CUDA环境运行可跳过)# 以 CUDA Toolkit 12.4: Ubuntu-22.04/24.04(x86_64) 为例，注意区分 WSL 和 Ubuntu，详见 https://developer.nvidia.com/cuda-12-4-1-download-archive?target_os=Linux&ta...
2024-10-09 04:05:14
1238
原创 ChatGLM.cpp 安装使用（支持CPU、Metal及CUDA推理）
1. 详细步骤1.1 拉取源码# 确保网络通畅git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp1.2 模型转换/量化1.2.1 安装所需 Python 依赖torchpip install torch -U其他依赖pip install tabula...
2024-10-09 04:05:09
532
原创 Ollama WebUI 安装使用（pip 版）
Open WebUI (Formerly Ollama WebUI) 也可以通过 docker 来安装使用1. 详细步骤1.1 安装 Open WebUI# 官方建议使用 python3.11(2024.09.27)，conda 的使用参考其他文章conda create -n open-webui python=3.11conda activate open-webui# 相关依赖挺...
2024-10-09 04:05:03
6555
原创 迁移 ollama 模型文件到新机器（支持离线运行）
1. 详细步骤以qwen2.5:0.5b-instruct-fp16为例1.1 迁移 manifests 文件# 本地机器# 查看 manifests 下的配置文件more ~/.ollama/models/manifests/registry.ollama.ai/library/qwen2.5/0.5b-instruct-fp16# 输出类似如下{ "schemaVersion...
2024-10-09 04:04:57
1383
原创 Ollama 安装、运行大模型（CPU 实操版）
1. 操作步骤1.1 安装# 通过 homebrew 安装brew install ollama1.2 验证(可跳过)# 输出命令使用提示则安装成功ollama --help1.3 启动服务端# 启动 ollama 服务(默认在 11434 端口，模型文件在 ~/.ollama)ollama serve1.4 跑通第一个模型# 新开一个终端窗口，执行如下命令(将下载并运行 Q...
2024-10-09 04:04:50
1036
原创 CUDA Toolkit 安装记录（nvcc -V 可查）
目前通过 runfile(local) 方式安装，最终 nvcc -V 看到的版本有偏差(安装12.4，显示12.0)，但不影响使用 llama-factory,llama.cpp 等使用(llama-cpp-python 的 cuda 版本 会安装失败，原因尚未深究)如果需要 nvcc -V 看到和目标安装版本 完全一致的版本，可以尝试 deb(local) 等方式来安装，并做好可能需要删除...
2024-10-07 00:04:35
456
原创 Tmux 安装使用（含终端窗口备份）
1. 详细步骤1.1 安装 Tmuxaptsudo apt update && sudo apt install tmuxbrewbrew update && brew install tmux1.2 终端新建/激活 Tmux1.2.1 新开一个窗口tmux new -s xxx1.2.2 激活指定窗口tmux attach -t xxx1.3...
2024-10-07 00:04:23
628
原创 Ubuntu 个别实用命令记录（新建用户、查看网速等）
1. 实用命令1.1 系统相关1.1.1 查看系统、用户信息等查看当前系统硬件架构uname -m注：mac 上也能用查看当前系统的操作系统及版本cat /etc/os-release | grep "PRETTY_NAME"查看当前系统单个cpu的可用核心数cat /proc/cpuinfo | grep "cpu cores"查看当前系统所有用户who注：mac 上也能...
2024-10-07 00:04:18
398
原创 组建软件RAID（mdadm完整实操版）
1. 详细步骤以 Ubuntu 上，组建 4 盘 RAID-10 为例挂载的位置以 /Volumes/RAID10 为例， 可替换为其他任意自定义路径1.1 初始化磁盘(确保初始化，不然重启后会有问题)# 清除分区信息等，将磁盘还原到类似出厂状态# 使用 fdisk 删除分区(p 列出分区，d 删除分区，w 保存更改并退出)sudo fdisk /dev/xxx# 使用 wipe...
2024-10-07 00:04:09
474
原创 Dockerized GitLab 安装使用（简单实操版）
1. 详细步骤1.1 安装启动 postgresql 服务docker pull sameersbn/postgresql:14-20230628docker run --name gitlab-postgresql -d \ --env 'DB_NAME=gitlabhq_production' \ --env 'DB_USER=gitlab' --env 'DB_PAS...
2024-10-07 00:04:01
327
原创 docker 安装使用（简单实操版）
1. 详细步骤1.1 安装sudo apt updatesudo apt install docker.io1.2 验证(可跳过)docker -v1.3 使用1.3.1 拉取镜像# 镜像源，如使用腾讯云服务器，可使用 https://mirror.ccs.tencentyun.comdocker pull xxx1.3.2 运行镜像docker run -d --name ...
2024-10-06 23:19:48
341
原创 Homebrew 安装使用（Ubuntu 完整实操版）
支持绝大部分系统软件服务的安装，如 ollama, ffmpeg, mysql 等在非 root 用户下安装使用，mac 和 linux(ubuntu) 上都可以使用1. 操作步骤1.1 确认 curl 和 git 是否已安装(可跳过)# 分别查看是否安装 curl 和 git(输出版本号则已安装)curl -Vgit -v注：若未安装，可以通过类似 sudo apt instal...
2024-10-06 23:19:42
864
原创 WSL拓展虚拟磁盘空间
1. 详细步骤1.1 终止所有 WSL 实例(官方建议)wsl --shutdown1.2 通过 diskpart 拓展磁盘空间# 以管理员权限打开 Windows 终端diskpart> # 查找.vhdx文件位置参考：https://learn.microsoft.com/zh-cn/windows/wsl/disk-space#how-to-locate-the-vhdx-...
2024-10-06 23:19:33
396
原创 WSL迁移Linux系统到非系统盘（完整实操版）
1. 操作步骤1.1 确认要导出的Linux系统是否存在(可跳过)# 终端命令# 查看通过WSL安装的Linux系统列表wsl -l1.2 导出Linux系统为tar包# 终端命令# 格式(过)wsl --export <Distribution Name> <File Name># 示例(灵活)# path替换为找得到的文件路径，导出到其他盘也可以，C...
2024-10-06 23:19:27
430
原创 Windows最快2步安装Ubuntu（WSL高效实操版）
1. 安装1.1 WSL安装确认(可跳过)1.1.1 检查是否安装(可跳过)# 打开 Windows 终端(Windows PowerShell)，执行以下命令wsl -v# 输出类似如下信息则已安装WSL 版本： 2.2.4.0.....注：Windows11已默认安装(所提WSL，默认指WSL2)1.1.2 手动安装(可跳过)# 如果没有安装，可以尝试以下命令(摘自微软官...
2024-10-06 23:19:19
614
原创 ubuntu 镜像源配置
1. 详细步骤1.1 查看源文件位置(可跳过)# 传统格式more /etc/apt/sources.list# DEB822 格式more /etc/apt/sources.list.d/ubuntu.sources注：后续步骤都以传统格式的 /etc/apt/sources.list 为例1.2 备份源文件sudo mv /etc/apt/sources.list /etc...
2024-10-05 21:39:42
1191
原创 pypi 镜像源配置
1. 详细步骤1.1 常用镜像源列表官方：https://pypi.org/simple清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里：https://mirrors.aliyun.com/pypi/simple/百度：https://mirror.baidu.com/pypi/simple/豆瓣：https://pypi.douban.co...
2024-10-05 21:39:05
561
原创 homebrew 镜像源配置
1. 详细步骤1.1 临时使用因为长期设置不知道为什么，可能会有不生效的情况，所以发现好像卡着 没有走清华源的时候，可以临时使用# 设置清华镜像源：五行一起拷贝执行export HOMEBREW_API_DOMAIN="https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles/api" && export HOMEBREW...
2024-10-05 21:37:15
484
原创 conda 镜像源配置
1. 详细步骤1.1 Windows 用户操作(其他操作系统可跳过)conda config --set show_channel_urls yes1.2 配置文件编辑# vim ~/.condarc# 输入以下内容channels: - defaultsshow_channel_urls: truedefault_channels: - https://mirrors.t...
2024-10-05 21:36:04
1074
原创 LLM | llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）
包括CUDA安装，llama.cpp C/C++、Python环境配置，GGUF模型转换、量化与推理测试
2024-09-29 23:59:59
4570
2
原创 LLM | Ollama WebUI 安装使用（pip 版）
在 Python 3.11 环境下，使用 conda 创建环境并安装。启动 ollama 和 open-webui 服务后，通过 http://127.0.0.1:8080 访问 WebUI，首次启动会从 Hugging Face 下载所需文件。用户注册后可选择模型进行对话。
2024-09-27 23:45:20
1633
原创 LLM | 迁移 ollama 模型文件到新机器（支持离线运行）
迁移 ollama 模型文件到新机器的步骤：1. 拷贝 manifests 文件和 blobs 文件。2. 运行。
2024-09-27 22:50:17
1665
原创 ENV | VUE3 的安装使用并跑通第一个项目（高效实操版）
使用 Homebrew 安装 node 和 npm，配置 npm 镜像源，全局安装 Vue CLI，创建并启动 Vue 项目，最后访问浏览器查看结果。
2024-09-26 22:53:35
474
原创 Git | Dockerized GitLab 安装使用（简单实操版）
浏览器访问 http://localhost:1080，第一次访问需要等几分钟，在页面上创建 root 账户后正常使用。
2024-09-24 23:58:00
405
原创 LLM | Ollama 安装、运行大模型（CPU 实操版）
Ollama 安装与运行大模型步骤：首先通过 Homebrew 安装 Ollama，验证安装成功后启动服务端（默认端口 11434），然后在新终端运行指定模型（如 Qwen2 的 0.5B Chat 模型）
2024-09-23 23:57:36
1164
原创 ENV | Homebrew 安装使用（Ubuntu 完整实操版）
Homebrew 是一款包管理工具，支持 Mac 和 Linux，推荐在非 root 用户下安装和使用，可安装管理 ollama、ffmpeg 和 mysql 等软件。安装前需确认 curl 和 git 已安装。通过从清华大学镜像站下载脚本进行安装，并可自定义镜像源以优化速度。安装后，可以通过简单命令进行软件的安装、更新和卸载。
2024-09-23 23:32:18
1280
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人