- 博客(121)
- 收藏
- 关注
RSS订阅原创 ProGen2 GPU镜像K8s部署交接文档
本文档详细介绍了ProGen2 GPU镜像在Kubernetes集群上的部署流程和运维要点。部署环境基于Ubuntu 22.04系统，使用K8s v1.33.5和containerd 1.7.13运行时，配置NVIDIA A800 GPU驱动。核心部署步骤包括：系统预处理、containerd配置、K8s集群初始化、GPU环境配置以及ProGen2镜像部署。文档提供了关键配置文件模板（Deployment和Service）和常用运维命令，涵盖集群状态检查、服务管理和GPU资源监控等内容。针对常见问题如控制平
2025-12-25 17:22:56
689
原创 scMINER/SJARACNe 项目流程分析
摘要：该生物项目使用scMINER和SJARACNe工具进行基因调控网络分析，主要流程包括：1)准备输入数据（00_prepare_inputs.py）；2)创建表达集对象（01_create_eset.R）；3)生成SJARACNe输入（02_generate_sjaracne_input.R）；4)运行网络分析（run.sh）；5)网络质量控制和活性分析（03_run_activity.R）；6)导出Top20驱动转录因子（04_export_driver_tf.R）。项目采用模块化设计，支持多基因并行
2025-12-25 17:10:05
578
原创 MPS GPU共享机制
本文记录了配置NVIDIA MPS（Multi-Process Service）守护进程的全过程。首先检查MPS状态确认未运行，然后创建必要的目录并设置环境变量。通过多次尝试启动MPS守护进程并解决日志目录权限问题后，成功配置了systemd服务实现开机自启动。最终验证了MPS服务状态、进程运行情况以及GPU状态，确保MPS服务正常运行。整个配置过程涉及环境变量设置、目录权限调整、守护进程管理以及systemd服务配置等多个技术环节。
2025-12-23 14:19:50
949
原创 GitLab部署报告
拉取镜像# 停止并删除现有GitLab容器# 启动GitLab容器# 配置外部URL# 重新配置和重启本次GitLab部署过程顺利，成功解决了部署初期遇到的hostname配置问题，最终实现了通过服务器IP正常访问GitLab服务。部署采用了Docker容器化方式，便于后续管理和维护。建议根据实际使用情况，逐步完善GitLab的各项配置，确保服务稳定、安全运行。部署完成时间部署状态：成功访问地址。
2025-12-15 09:00:09
946
原创 链式求导法则
摘要： 链式法则的分段应用并非数学技巧，而是基于其分组自由度（associativity），数学上等价于完整展开。分段后，梯度计算可拆解为“上游梯度×局部梯度”的矩阵形式（如(\frac{\partial L}{\partial W_1} = X^\top\frac{\partial L}{\partial H_1})），不仅简化表达，更利于工程实现： 统一性：适用于各类层结构（如ReLU、CNN）； 高效性：矩阵乘法GPU友好，避免冗余计算； 模块化：自动微分框架依赖分层梯度传递，支持任意网络堆叠。若拒绝
2025-12-08 17:58:39
588
原创 大模型学习规划 03
本文汇总了多个深度学习与GPT模型相关的优质学习资源：1）minimind项目提供GitHub代码库、B站视频讲解及详细笔记；2）Andrej Karpathy的"从零实现GPT-2"系列教程；3）CS336课程视频。这些资源涵盖理论讲解与实践指导，适合不同层次的学习者系统掌握Transformer和GPT模型原理及实现。所有资料均提供在线访问链接，便于学习者获取。
2025-12-04 13:07:58
165
原创 K8S etcd 数据存储路径迁移
本文介绍了Kubernetes集群中etcd数据迁移的详细方案。首先需要按顺序停止kube-apiserver、etcd等服务，然后通过rsync命令将数据迁移至新目录。关键步骤包括验证配置文件、按正确顺序重启服务，以及最终的健康检查。方案特别强调服务启停顺序和数据迁移完整性验证，并提供了完整的回滚方案。实施结果表明，该方案成功解决了Kubernetes API服务器与etcd的通信问题，使集群恢复正常运行。建议在业务低峰期执行此操作，确保迁移过程安全可靠。
2025-12-04 10:44:17
1078
原创 git clone只克隆小文件 无法克隆大文件解决办法
Git与Git LFS的核心区别在于大文件存储方式：Git会保存所有文件版本导致仓库膨胀，而Git LFS将大文件替换为指针文件，实际内容存储在LFS服务器。使用Git LFS时需先git clone获取指针文件，再通过git lfs pull下载实际大文件内容。关键操作包括：安装Git LFS扩展、克隆后执行LFS拉取、验证文件完整性。这种设计既保持Git仓库轻量，又能高效管理大文件，特别适合处理大型数据集等场景。
2025-12-03 11:39:26
484
原创 大模型后训练学习计划 02 verl llamafactory
verl是一个专注于大模型后训练的开源框架，特别强化学习(RLHF)领域具有丰富实现。该框架支持多种强化学习算法(PPO、GRPO等)，集成工业级训练框架和推理引擎，兼容Hugging Face生态，提供分布式训练、高效推理等关键技术。学习路径建议从SFT基础开始，逐步深入RLHF训练，通过跑通示例、分析源码、复现论文来掌握核心技术。对于希望进入大模型领域的研究生，verl能帮助快速积累理论算法和工程实践经验，是优质的学习资源。框架文档完善，社区活跃，适合系统性学习大模型后训练技术。
2025-12-01 20:11:28
680
原创 Superposition Yields Robust Neural Scaling 文章理解
摘要： 该研究探讨了表征叠加（representation superposition）对神经网络缩放律的影响，揭示了不同叠加机制下损失随模型维度变化的规律。通过玩具模型实验发现： 1）弱叠加时，损失缩放依赖特征频率分布，仅在幂律分布下呈幂律衰减； 2）强叠加时，损失普遍随维度反比下降（L∝1/m），鲁棒性更强。实际LLM（如GPT2、Qwen）验证表明，其强叠加特性与损失缩放规律（指数≈1）与理论预测一致。研究为模型优化提供新思路，鼓励通过叠加设计提升小模型性能。 比喻说明： 将神经网络的隐藏空间比作书架
2025-11-28 16:32:38
909
原创 K8S containerd 打包镜像和部署流程和注意事项
本文摘要总结了containerd镜像存储与Kubernetes集成的关键信息：1) containerd镜像存储在/var/lib/kubernetes-storage/containerd目录下，包含内容存储、CRI配置等子目录；2) 通过crictl工具可执行镜像管理操作，包括查看(sudo crictl images)、拉取、删除和检查镜像；3) Kubernetes通过完整镜像引用(docker.io/library/progen2:cuda12.1-a800)识别containerd中的镜像，并
2025-11-21 18:33:48
883
1
原创 K8S节点GPU插件plugin检测GPU排查问题办法
本文介绍了Kubernetes集群中GPU资源的检测与配置方法。首先通过containerd命令验证GPU插件是否正常工作，然后创建测试Pod运行nvidia-smi检测GPU可用性。详细说明了Pod配置、应用步骤及状态检查流程，包括节点污点管理、nvidia-device-plugin状态检查等关键配置。最后总结了GPU资源识别流程、常见问题排查方法和最佳实践，帮助用户确保GPU在K8S集群中被正确识别和使用。
2025-11-21 11:09:37
1264
原创 K8S因NFS挂载点问题崩溃和恢复操作流程以及挂载情况
摘要：本文记录了K8S和Containerd系统状态检查的全过程。检查发现K8S集群响应超时，kubelet运行但有错误，kube-apiserver和etcd处于CrashLoopBackOff状态。Containerd服务运行中存在访问权限问题。进一步检查显示kube-apiserver容器已退出，etcd容器也无法正常运行且无法连接。检查过程包含节点状态、服务日志、容器状态等多个维度的诊断，揭示了系统存在的多个关键问题。
2025-11-20 18:02:27
733
原创 containerd的镜像快照数据库不一致问题解决办法 pause3.10
摘要：解决K8S中nfs-client-provisioner Pod创建失败问题。通过检查发现Containerd存储层存在不一致问题，采取以下措施：1）清理Containerd所有数据；2）统一配置swr.cn-north-4.myhuaweicloud.com/ddn-k8s/registry.k8s.io/pause:3.10.1镜像；3）重启containerd和kubelet服务。经过多次状态验证和Pod重建，最终成功部署Pod，日志显示provisioner控制器正常运行。根本原因是镜像快照数
2025-11-19 16:23:05
600
原创 500GB 数据盘挂载记录 /var/lib/kubernetes-storage
本文记录了500GB新磁盘的配置全过程，从分区创建到最终目录结构规划，确保与原系统文件系统(xfs)保持一致性。操作步骤包括：1) 检查根目录文件系统信息；2) 创建500GB主分区/dev/vdb1；3) 使用xfs格式化；4) 挂载至/var/lib/kubernetes-storage目录；5) 配置fstab实现开机自动挂载。完成基础配置后，还创建了conda、pip、containerd等专用文件夹结构，并开始迁移conda缓存路径。所有操作均通过命令验证，最终磁盘可用空间约497GB，挂载选项与
2025-11-19 15:18:42
824
原创 resource 和 K8S 对接部分 apifox
问题解决摘要 系统分析发现资源服务的Kubernetes连接问题源于证书验证失败。通过以下步骤解决： 定位日志文件：/home/user/resource/resource-service/target/log/resource-service.log 确认问题：PKIX证书路径验证失败 解决方案： 修改配置文件添加kubeconfig路径 停止原进程(PID:1947567) 重启服务(PID:1080798) 验证结果：服务正常启动，证书错误消失，成功获取K8S节点信息。
2025-11-13 17:42:51
859
原创 K8S NFS PVC PV 挂载点路径问题
摘要：Kubernetes PVC挂载的核心规则是将PVC根目录映射到容器指定路径，保留原有目录结构。最佳实践包括完整目录挂载或使用subPath挂载特定文件/目录。本文通过分析DNABERT2应用的NFS挂载示例，详细展示了从NFS服务器（10.16.233.177）到容器内路径（/app/model/）的完整映射链，包括动态NFS配置器自动创建PVC子目录的过程，最终形成容器内/app/model/zhihan1996/DNABERT-2-117M/与NFS服务器路径的精确匹配关系。关键点在于理解PVC
2025-11-13 17:38:57
964
原创 llm course 5.6 学习笔记 同样的文本 模型输出的固定向量和计算出来的哈希值为什么携带的信息不同
摘要： 文本向量（如SBERT）与哈希值（如MD5）的信息差异源于算法设计的数学目标对立。SBERT通过对比学习构建连续度量空间，使语义相似度≈向量距离（欧氏距离/L2范数），支持相似度计算。其数学本质是保序映射，满足度量空间公理（非负性、对称性、三角不等式）。而MD5通过非线性变换（布尔函数+循环移位+模运算）将文本映射到离散有限域，破坏原始信息关联性，满足密码学三大特性（抗原像性、抗碰撞性）。哈希值属于离散空间，无距离定义，且雪崩效应使微小语义变化导致哈希值随机翻转，无法定义相似度。核心差异在于：向量空
2025-11-12 17:46:48
1006
原创 K8S NFS 静态配置和动态配置 StorageClass
文章摘要： Kubernetes的PV/PVC机制实现了存储资源的声明式管理。当前系统采用静态PV方式，手动配置NFS存储（10.16.233.177:/nfs/model-weights）用于模型权重共享。与之相比，老师要求的动态PV方案（基于nfs-subdir-external-provisioner）能自动创建PV，更适合大规模集群。PV/PVC的核心优势在于解耦开发与运维：开发者通过PVC声明存储需求，无需关心底层实现；管理员则集中管理PV资源。虽然直接映射NFS路径简单可行，但PV/PVC提供了
2025-11-11 17:52:01
1066
1
原创 从adam和adamW的区别与联系开始 到 模型的向量特性
摘要： Adam和AdamW是深度学习中广泛使用的优化器，两者均结合了动量和自适应学习率机制，但在权重衰减的处理方式上存在关键差异。Adam将权重衰减嵌入梯度计算中，导致其效果被自适应学习率稀释；而AdamW通过解耦权重衰减与梯度更新，直接对参数施加惩罚，确保正则化效果稳定。这一改进使AdamW在训练Transformer等大型模型时表现更优，成为当前主流选择。权重衰减作为L2正则化的实现方式，其核心是通过限制权重大小降低模型复杂度，防止过拟合。
2025-11-11 11:50:17
820
原创 K8S第二次安装
本文档总结了Kubernetes集群初始化过程中的关键问题及解决方案。主要问题包括：1) kubelet cgroup驱动配置错误，通过修改配置文件解决；2) CoreDNS Pod处于Pending状态，通过部署Calico网络插件修复；3) 节点污点导致调度问题，通过调整污点配置处理。最终所有组件（etcd、kube-apiserver等）均正常运行。经验总结强调配置一致性、网络插件重要性及系统性诊断方法。附带的脚本提供了自动化环境清理、依赖检查和配置流程，确保集群稳定运行。
2025-11-08 16:46:14
844
原创 K8S重启之后无法启动故障排查 与 修复
etcd端口监听异常- 配置监听2379端口但实际未监听组件依赖链断裂- etcd→API服务器→其他组件的依赖关系中断网络插件循环依赖- 网络需要API服务器，API服务器需要etcd存储。
2025-11-07 17:59:59
817
原创 containerd 打包 K8S部署流程
摘要 本文详细介绍了如何将大型模型权重文件从容器镜像中剥离，通过Kubernetes的PV/PVC机制实现外部挂载的步骤。主要内容包括： 镜像打包方法，使用buildctl工具构建不含权重的轻量镜像 权重文件处理方案： 可直接使用现有路径，设置适当权限 或创建专用目录复制权重文件 Kubernetes存储配置： 创建Local PV指向权重文件目录 创建PVC绑定PV 在Deployment中配置volumeMounts挂载到容器内 验证步骤： 检查PV/PVC绑定状态 进入容器验证文件挂载情况 该方法有效
2025-11-06 10:53:56
1008
原创 progen2 docker镜像打包命令文档
ProGen2镜像的构建与运行指南：提供两种镜像构建方式（带日志输出和使用缓存加速）和两种运行模式（端口映射和Host网络模式），并包含容器管理命令（查看状态/日志、停止/删除容器）。注意事项强调构建前的文件准备、网络参数使用及日志保存，应用运行后可通过http://localhost:7862访问Gradio界面。
2025-10-28 18:02:43
533
原创 K8S 安装 部署 文档
Kubernetes安装部署流程总结 已完成的步骤 系统环境检查：确认Ubuntu 22.04系统状态，资源使用正常 Docker配置：设置systemd cgroup驱动并重启服务 Kubernetes安装： 配置阿里云镜像源 安装kubelet、kubeadm、kubectl组件 集群初始化： 使用kubeadm初始化控制平面 配置kubectl权限 允许主节点调度Pod 问题排查： 检查kubelet日志 重置集群配置 简化初始化参数 当前状态 集群初始化部分成功，但网络插件尚未安装 主节点处于Not
2025-10-28 18:02:30
983
原创 whisper 模型处理音频办法与启示
Whisper模型通过30秒音频分段解决输入长度不一致问题，采用80通道对数梅尔频谱图（25ms窗口，10ms步长）作为特征输入，并进行全局归一化。两层CNN（3x滤波器，GELU激活）对特征进行局部提取和时间维度下采样（步长2），最终输出固定长度的特征供Transformer处理。该设计平衡了计算效率与语音识别需求，通过标准化预处理和特征提取确保模型鲁棒性。
2025-10-24 12:53:31
747
原创 ssh cmd命令行可以连接 但是vscode cursor无法连接的原因 --太多D进程阻塞在I/O过程中 磁盘被占用太多
系统因test2用户的Python任务导致磁盘I/O饱和，出现多进程D状态卡死，表现为系统响应极慢、load飙升至40-50。通过终止问题进程解决，验证后系统恢复正常（CPU空闲96%、I/O等待0.9%）。根本原因是并发磁盘读写引发I/O堵塞，建议采取用户资源限制、I/O优先级调整及监控等预防措施。该案例属于典型I/O瓶颈型故障，需注意并发任务管理。
2025-10-23 17:33:59
1032
原创 大模型学习资源
IBM机器学习概念解析：本文介绍了IBM在大型语言模型(LLM)基准测试方面的研究进展，探讨了如何评估AI模型的性能表现。作为科技巨头，IBM分享了其在机器学习领域的最新见解，包括模型评估方法论和关键技术指标。文章链接提供了IBM官方对机器学习基准测试的详细说明，展现了企业在AI研发中的前沿探索。
2025-10-22 10:14:51
195
原创 在音频领域采用mamba模型可行性分析
Mamba模型在疾病音频分类任务中具有应用潜力，其状态空间模型架构能高效捕捉语音信号的长时序依赖关系，可能弥补CNN、Transformer等现有模型的不足。Mamba通过动态路由机制自适应建模时序特征，在计算效率和对"局部-全局"特征的平衡上具有优势。实际操作中，建议采用梅尔频谱图作为输入，使用中小型Mamba模型配合轻量分类头，并考虑预训练加微调策略。虽然存在调参难度和数据敏感性等挑战，但Mamba在需要区分时序模式差异的疾病音频分类任务中很可能带来性能提升，值得在子集验证后推广到全
2025-10-22 09:53:44
1133
原创 hugginface llm course 学习笔记
Mistral 7B是一个70亿参数的语言模型，在性能上超越Llama 2 13B和Llama 1 34B等更大规模的模型。该模型采用分组查询注意力(GQA)和滑动窗口注意力(SWA)技术，显著提升了推理效率并降低了长序列处理成本。其指令微调版本Mistral 7B-Instruct在人类和自动评测中都优于Llama 2 13B-Chat，且所有模型均采用Apache 2.0开源协议发布。 文章还介绍了Markdown编辑器的使用指南，包括基本语法、新功能(如拖拽图片、数学公式、甘特图等)、快捷键操作以及表
2025-10-20 18:06:50
1027
原创 krea 智能体自动部署k8s 情况 和k8s入门路径 minikube
Kubernetes单节点集群部署总结 本文详细记录了Kubernetes v1.28.2单节点集群的部署过程。通过阿里云镜像源成功安装了containerd容器运行时和kubeadm等核心组件，配置了必要内核参数并初始化了控制平面。关键组件（etcd、kube-apiserver等）均已健康运行，但节点状态显示NotReady，主要因Calico网络插件镜像拉取失败所致。部署过程包括：环境准备（内核参数配置、containerd安装）、Kubernetes组件安装、集群初始化（使用阿里云镜像源）、访问权限
2025-10-20 15:11:48
847
原创 评估8张RTX 4090（单卡24GB显存）对1B、7B参数模型的推理和微调能力
8张RTX 4090显卡（每卡24GB显存，总计192GB）可高效支持1B-7B参数模型的推理与微调： 1B模型：单卡轻松完成FP16推理（10GB）和全量微调（20GB）；8卡可支持大批量处理。 7B模型：INT8量化下单卡可推理（17GB），FP16需2卡模型并行；全量微调需8卡分布式训练+激活检查点（25GB/卡）。 高效微调：7B模型LoRA方案单卡即可实现（17GB），8卡可加速训练。 能力边界：8卡配置可支持13B模型INT8推理，全量微调需显存优化（如缩短序列长度）。 实践建议：优先测试7B模
2025-10-20 11:21:38
1456
原创 直击面试 大模型学习路径
摘要 本文为AI研二学生提供了一份大模型/强化学习方向面试准备指南，重点分析了RLHF/RFT岗位的核心考察点，包括强化学习算法、大模型训练流程、优化技术等五大知识板块。针对可能的知识盲区，推荐了分阶段学习路径：先夯实强化学习基础（Sutton教材+David Silver课程），再掌握RLHF/RFT技术（Alignment Handbook+关键论文），最后通过实践项目巩固。文章特别强调PPO/DPO等算法的实现调试能力，并提供了典型面试题的答题框架，如解释SFT冷启必要性、DAPO改进思路等，帮助候选
2025-10-14 12:56:07
1071
原创 家庭烹饪用油选择
【心脑血管患者食用油选择指南】 橄榄油是脑卒中、高血压患者的优选，其单不饱和脂肪酸和抗氧化成分能改善血脂、抗炎护血管，特级初榨橄榄油适合凉拌低温烹饪。茶籽油和双低菜籽油因高烟点和健康脂肪酸成为中式炒菜更佳替代，玉米胚芽油和花生油因Ω-6过高需控制用量。建议采用"主力炒菜油+凉拌油"组合：茶籽油/菜籽油用于炒菜，特级初榨橄榄油和亚麻籽油（补充Ω-3）用于凉拌，同时严格控制每日用油量（25-30克）。转基因大豆油营养虽无差异，但高Ω-6问题与非转基因版相同。
2025-10-13 11:53:39
432
原创 resource_service项目代码阅读
本文提供了一个系统化的代码阅读指南，帮助开发者快速掌握resource_service项目。指南分为五个阶段：从项目概览与环境配置开始，逐步深入到API接口、核心服务层、数据模型及辅助功能。建议采用API测试与调用关系图绘制等实用技巧，重点关注配置参数、核心业务流程和Kubernetes交互机制。通过2-3周的结构化学习，开发者可从零开始全面理解项目架构和实现细节，特别推荐从熟悉的API接口入手逐步扩展。
2025-10-13 09:19:11
308
原创 语音大模型自监督训练思路
你的Idea完全可行，且已有多个顶级研究团队实现了类似系统。自监督学习 + 音频token化 + Transformer生成 + 零样本音色控制。Bark是目前最接近你设想的开源工具，支持本地部署，你可以直接拿来实验。加入音乐生成能力（如Suno AI的音乐生成模型）。实现跨语言音色迁移（如VALL-E X）。引入情感控制或上下文理解（对话式语音生成）。你的想法非常有潜力，继续深入，你完全有可能做出下一代音频大模型！
2025-10-11 17:34:02
352
原创 mantis 预训练数据集
Mantis论文实验部分使用了三类时间序列分类基准数据集：1）UCR包含128个单通道时间序列分类任务（如ECG200）；2）UEA提供30个多通道数据集（如三轴加速度数据）；3）4个真实应用数据集（Blink-EEG、MotionSenseHAR等）。这些基准覆盖医疗、运动、金融等领域，用于评估模型在单/多通道时间序列分类任务上的通用性。数据集特点包括变长序列处理、多分类任务，类比于图像领域的CIFAR基准集。研究者可通过这些标准集合验证模型性能，再迁移到特定领域（如语音疾病分类）任务。
2025-10-11 17:32:59
394
原创 mantis 预训练数据集
Mantis论文实验部分使用了三类时间序列分类基准数据集：1）UCR包含128个单通道时间序列分类任务（如ECG200）；2）UEA提供30个多通道数据集（如三轴加速度数据）；3）4个真实应用数据集（Blink-EEG、MotionSenseHAR等）。这些基准覆盖医疗、运动、金融等领域，用于评估模型在单/多通道时间序列分类任务上的通用性。数据集特点包括变长序列处理、多分类任务，类比于图像领域的CIFAR基准集。研究者可通过这些标准集合验证模型性能，再迁移到特定领域（如语音疾病分类）任务。
2025-10-10 16:34:58
742
原创 TODO 分类任务指标计算和展示 准确率 F1 Recall
摘要 本文探讨了多分类任务中的召回率指标及其计算方法（宏平均召回率与微平均召回率），并分析了准确率、F1-score等指标在二分类与多分类中的统一性。针对音频疾病识别任务，提出"参考领域惯例+核心指标全覆盖"的评估策略，建议优先采用宏F1作为核心指标，同时补充准确率和宏召回率以确保全面性。以《Speech Emotion Recognition using wav2vec 2.0 Embeddings》为例，说明实际研究中如何通过平均召回率等指标进行模型对比，强调指标选择需兼顾领域惯例与
2025-10-08 14:19:30
1088
原创 适用于21世纪20年代的大模型训练基础知识学习哲学--以Brillm为例
摘要（149字）： 大模型训练入门建议从代码切入，通过解剖train.py掌握核心模块：数据加载、分布式训练、模型迭代等。建议拆解路径为：1)理解数据预处理与流式加载；2)分析训练循环的双层结构；3)研究分布式实现；4)关联模型架构与损失设计。吃透代码后需建立系统思维，绘制训练流程图，结合论文验证理论落地。不必追求千亿参数经验，关键在于掌握数据-模型-算力的平衡能力。通过"复现-简化-创新"循环渐进提升，每天解决具体问题积累实战认知。代码是压缩的知识包，小步快跑比空想更有效。
2025-10-05 19:46:25
970
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人