- 博客(257)
- 收藏
- 关注
RSS订阅
原创 个人笔记目录
Huggingface trainer 与 from_pretrained简单介绍（笔记）_trainer.place_model_on_device-优快云博客总的来说,这个函数负责完成训练前的所有准备工作,包括加载检查点、设置超参数搜索、配置训练环境等,最终调用内部训练循环执行实际的训练过程。它提供了一些可配置选项,如从检查点恢复训练、超参数搜索和忽略评估时的某些键等,以满足不同的训练需求。类的主要训练入口点。
2024-04-14 20:18:52
1484
原创 docker 进阶命令(基于Ubuntu)
不使用docker自带的网络模式, 而是自己去定制化自己特有的网络模式, 比如划分不同的子网, 网关, dns等配置自定义网络模式, 划分不同的子网以及网关, dns等配置网络互通实现不同子网之间的网络互通基于容器名(主机名)的方式在网络内访问查看主机的网络# 查看网络的命令ifconfig# 或ip addr# 如:创建自定义网络# 创建自定义网络## 创建一个名为 wolfcode的网络, 子网为 192.168.30.0/24, 网关为 192.168.30.1。
2025-02-15 09:33:46
1338
5
原创 使用阿里云服务器实现个人chat-gpt(LobeChat部署)
为了部署的web服务在所有的个人pc上都能访问，故选用带有公网ip的服务器进行部署，本文部署的服务器选用的。入站规则，这时候本地浏览器访问。查看LobeChat容器的日志。配置完成后选择模型开启对话即可。默认阿里的服务器并没有开启。服务器ip：3210。
2025-02-09 13:12:24
513
原创 ubuntu 本地部署deepseek r1 蒸馏模型
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台，旨在完全离线操作。它支持各种 LLM 运行器，如 Ollama 和 OpenAI 兼容的 API，内置 RAG 推理引擎，使其成为强大的 AI 部署解决方案。
2025-02-07 18:50:35
1273
原创 Ubuntu 安装 docker 配置环境及其常用命令
本文将详细介绍如何在Ubuntu系统上安装Docker，解决权限问题，配置DockerCompose，并进行相关的优化设置。
2025-01-20 07:42:13
2366
原创 在现有 Docker Desktop 环境下安装与配置独立 Kubernetes环境（Mac)
Kind（KubernetesINDocker）是一种使用Docker容器构建Kubernetes集群的工具，非常适合多节点集群的模拟。成为默认管理工具，同时保留DockerDesktop的Kubernetes功能，我们需要将Docker自带的。DockerDesktop和独立安装的Kubernetes可以共存，你可以灵活切换它们的上下文。，并启用了DockerDesktop的Kubernetes功能（如果需要）。至此，我们已经完成了重命名Docker的。
2025-01-19 17:46:52
1176
原创 Mac 使用 GVM 管理多版本 Go 环境
在本文中，我们将学习如何使用gvm（GoVersionManager）工具管理本地多个Go语言版本。gvm功能类似于Python的Anaconda，可以方便地切换不同版本的Go环境，非常适合需要多版本开发与测试的场景。需要注意的是，gvm在第一次安装Go时，，因为gvm需要依赖现有的Go环境来编译安装新的版本。为了满足这一需求，我们可以使用macOS的Homebrew先安装一个临时的Go版本，待gvm安装完成后，再将Homebrew安装的Go删除。
2025-01-17 16:51:17
1053
原创 supervisor实现进程守护
配置文件：可以放在项目根目录下的 supervisor文件夹下，每一个程序创建一个 .conf 结尾的文件，/home/your_username/project1/supervisor 是配置的路径。成功了会有以下字样：两个新的 “进程”激活了。running 表示正常运行。进程号有变化，进程已自动启动。
2024-11-11 22:36:04
989
原创 linux 系统清理缓存垃圾
清理Linux系统中的缓存垃圾可以帮助释放磁盘空间并提升系统性能。然而，在清理时需要谨慎，以避免删除重要的缓存文件。
2024-10-30 18:34:37
5599
原创 window11使用wsl2安装Ubuntu22.04
了解使用适用于Linux的Windows子系统(WSL)时访问网络应用程序的注意事项。适用于Linux的Windows子系统(WSL)中基本命令的参考。使用WSL访问网络应用程序|MicrosoftLearn。wsl2docker、cudatoolkit等安装。WSL的基本命令|MicrosoftLearn。子系统linux使用window网络代理、网络配置。wsl2Ubuntuminiconda安装。windows与子系统Linux文件访问。
2024-10-29 16:19:27
4153
转载 Python中的traceback的基本用法（异常处理）
文章目录一.Traceback介绍二.Traceback中的相关函数1.traceback.print_exc一.Traceback介绍在日常开发中，我们会做一些基本的异常处理，但是有时候只能打印我们处理的结果或者将异常打印出来，不能直观的知道在哪个文件中的哪一行出错。
2024-09-08 11:28:02
244
原创 llama3-8b-instruct-262k微调过程的问题笔记(场景为llama论文审稿)
我使用longqlora zero3模型微调 llama3-8b-instruct-262k，开启了shift short attention + flash attention v2，训练的过程中一切正常，loss正常下降，使用的设备为 A6000 (48G)，占用的显存为30G左右，但在trainer保存模型时（模型 + zero3 优化器状态），显存的占用会出现短暂的暴涨为58G，模型保存后显存暂用恢复至30G左右。2. 验证集的验证方法选择什么样的方式来判断最佳模型。
2024-05-25 17:05:38
1068
原创 Trl SFT: llama2-7b-hf使用QLora 4bit量化后ds zero3加上flash atten v2单机多卡训练(笔记)
第三 参考官方命令: https://github.com/Dao-AILab/flash-attention。第一 确保 linux "外界"的 cuda版本 与 conda 虚拟环境中cuda版本一致。第二 安装好 c++ g++ ninja。
2024-04-12 13:46:22
2641
原创 Huggingface trainer、model.from_pretrained、tokenizer()简单介绍（笔记）
总的来说,这个函数负责完成训练前的所有准备工作,包括加载检查点、设置超参数搜索、配置训练环境等,最终调用内部训练循环执行实际的训练过程。它提供了一些可配置选项,如从检查点恢复训练、超参数搜索和忽略评估时的某些键等,以满足不同的训练需求。类的主要训练入口点。它负责设置训练环境、加载模型检查点、配置超参数搜索、寻找可执行的批次大小,并最终执行内部训练循环。函数是 Hugging Face Transformers 库中。
2024-03-31 22:25:20
12555
2
原创 ssh 公私钥（github）
生成自定义名称的SSH公钥和私钥对，需要使用ssh-keygen命令，这是大多数Linux和Unix系统自带的标准工具。下面，我会向你展示如何使用ssh-keygen命令来生成具有自定义名称的SSH密钥对。
2024-03-28 22:15:55
5538
原创 全量微调Llama2-7b遇到的错误(stanford_alpaca)
模型：Llama-2-7b-chat-hf。openai的版本不对，更换版本。
2024-03-24 23:24:32
2812
原创 vscode调试launch.json常用格式
命令行deepspeed 进行执行，构建launch.json 思路。进行执行，构建launch.json 思路。与调试单个文件同理，只是重复。
2024-03-22 15:24:06
5730
原创 huggingface generate函数简介
函数的一些重要参数,它们控制了生成过程的各个方面,如起始输入、序列长度、解码策略、采样行为等。根据具体任务和需求,适当调整这些参数可以获得更好的生成效果。函数是用于生成文本序列的核心函数。它通常应用于自然语言生成任务,如机器翻译、文本摘要、对话系统等。其他参数可以使用默认值,除非你有特殊的需求。合理设置这些参数对于获得良好的生成效果非常重要。在 Hugging Face Transformers 库中,通常,你只需要根据任务需求设置。和生成策略相关参数(
2024-03-18 12:08:42
8937
原创 deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住
PyTorch extensions 初次构建需要一定的时间，如果构建失败需要将之前构建的缓存删除，否则就有可能卡住较长的时间。出现在多卡训练过程的pytorch 扩展，deepspeed 长时间卡住（1-2小时）重新运行训练脚本，程序work。
2024-03-15 23:09:27
2549
2
原创 高效加载大文件(pandas+dask)
要在单机环境中对Dask进行多进程数的控制，你可以使用模块创建一个本地集群，并控制其工作进程数量。通过这种方式，你能够显式地设定并发执行任务的工作线程或进程数目。"""使用 Dask 初始化加载器并设置多处理。:param filepath: 要读取的文件路径。:param blocksize: 单个块(block)读入内存时占用字节大小，默认值设定为128MB。根据系统和硬件配置调整blocksize大小以获得最佳性能，较小值将导致更高I/O频率但容易管理（内存使用上）；
2024-03-07 16:00:58
1853
1
原创 安装PyTorch-Lightning踩坑
lightning时一定注意自己的torch是pip安装还是conda安装，两者要保持一致，否则也会导致你的torch版本被替换。conda install pytorch-lightning==版本名。，否则如下图会直接卸载掉你的torch而安装cpu版本的torch。pip install pytorch-lightning==版本名。
2023-09-20 07:31:32
3853
2
原创 m1 Mac 使用 miniconda 安装python3.8.11 和 tensorflow2.5 & pytorch1.8（推荐）
M1 mac 安装minicoda并安装tensorflow2.5&pytorch1,8
2021-12-03 16:14:39
5272
1
原创 m1 Mac 使用 miniforge 安装python3.9.7 和 tensorflow2.5 & pytorch1.8
m1 mac 安装 python3.8 tensorflow2.5 pytorch1.8环境
2021-12-01 20:15:08
8915
5
原创 mac/linux 添加环境变量(.bash_profile 与 .zshrc)
使用惯了win，在用mac系统添加环境变量总觉得麻烦，而且几个配置文件也没弄到底有什么区别，今天就来总结一下1. 环境变量的作用：我们先来看这样的一个使用场景1，我们有一个程序Java，需要读取某个文件(/data/file.txt)。 那么我们在运行的时候是不是需要做如下的步骤：cd 到Java的目录下； 执行Java命令；但是，当我们需要同时使用多个工具的时候，比如又有java、maven、git等等，而且是多台机器的时候，我们通常需要很多繁琐的cd操作。而配置环境变量 就可以使我们可以
2021-12-01 19:11:21
11433
1
原创 lightgbm家族(阶段二)
一、知识结构泰勒公式 -----> 梯度下降&牛顿法 -----> GBDT -----> Xgboost ------> lighgbm
2021-10-27 09:49:21
86
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人