- 博客(21)
- 收藏
- 关注
RSS订阅原创 DeepSeek-V4-Flash × 昇腾910B PD分离深度分析：模型切分、权重分布与显存占用全揭秘
本文基于华为昇腾Atlas 800I A2（910B 64GB）×8台服务器，使用vLLM-Ascend推理引擎 + Mooncake KV Cache传输框架，对DeepSeek-V4-Flash（284B参数/13B激活/MoE）进行 Prefill-Decode（PD）分离部署的模型切分机制进行全方位深度剖析
2026-08-31 09:35:53
637
原创 从预训练、SFT(监督微调)到RLHF（偏好微调）的工作流程
从预训练到SFT监督微调到RLHF偏好微调的工作流讲解，让大家了解模型训练的三个阶段，对大模型更好的理解
2026-07-29 15:06:10
407
原创 vllm bench serve 压测大模型DeepSeek-V3.2或其他系列模型（脚本也支持）
vllm bench serve 压测大模型，方便了解各个模型性能。
2026-05-18 15:53:11
190
原创 Rockey10部署libvirt并创建虚拟机(基于云镜像qcow2)
基于Rockey 10部署libvirt并创建虚拟机，完成存储池，桥接网络，虚拟机创建，连接等步骤
2026-01-12 11:33:46
376
原创 一文讲解大模型格式后缀有.safetensors /.ckpt/.gguf/.pth/.bin的含义
在深度学习语境下，它通常被 Hugging Face Transformers 库用作 PyTorch 模型权重文件的扩展名，其本质与只保存了 state dict 的 .pth文件完全相同。加载速度极快：由于张量数据在磁盘上的布局与在内存（尤其是GPU内存）中的布局非常相似，可以实现零拷贝加载，速度比 pickle 快得多（官方称可达快100倍）。在 TensorFlow 1.x 时代，它通常指代一组由 tf.train.Saver() 创建的文件（包括 .data, .index, .meta）。
2025-09-11 14:56:32
1903
原创 全流程部署Qwen3-Rerank-8B嵌入模型（dify和ragflow 都可支持添加到rerank 模型）
全流程部署Qwen3-Rerank-8B重排序模型
2025-06-19 15:52:27
5240
原创 基于昇腾910B部署Qwen3-embedding-8B模型（通过vllm 推理引擎部署）
国产卡910B基于vllm 拉起Qwen3-embedding-8B 嵌入模型
2025-06-17 21:01:25
5731
1
原创 从0到1手把手搭建dify（基于centos7.9）
手动部署dify包含docker /docker-compose/dify 三个服务部署
2025-05-15 14:50:07
1312
1
原创 centos7添加阿里镜像源CentOS-Base.repo及“Failed connect to mirrors.cloud.aliyuncs.com:80问题
使用阿里镜像源和FAIL connect to mirros.cloud.aliyuncs.com问题
2024-06-14 13:57:12
2741
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人