- 博客(157)
- 收藏
- 关注
RSS订阅原创 Containerd
containerd 是一个由 CNCF 托管的、符合工业标准的容器运行时，负责管理宿主机上容器的完整生命周期——从镜像传输与存储、容器执行与监督，到底层存储与网络接入。它最初是 Docker 的内部组件，后来被拆分并捐赠给 CNCF，如今已成为 Kubernetes 集群中最主流的容器运行时。作为一个守护进程，containerd 可运行于 Linux 和 Windows。
2026-09-29 19:23:15
206
原创 Docker（下）：镜像仓库管理
常见的镜像仓库阿里云：https://cr.console.aliyun.com/Docker官方：https://hub.docker.com/镜像仓库可以放在公有云（阿里云、Docker Hub）、私有仓库、镜像可以先同步到阿里云、再同步到私有云服务在哪个云上，就同步到哪里。
2026-09-08 18:33:31
217
原创 Docker（中）：镜像制作
还有一种方式，就是先启动一个容器，启动的时候通过 -v 将代码路径映射到容器中，再在这个容器中进行编译，然后退出，这样就得到了二进制文件，随后再通过 Dockerfile 将二进制文件复制到新的镜像里面。也就是用基础镜像启动的容器中编译，然后在创建新镜像的时候把编译结果放进去。直接使用 COPY 拷进容器的文件，默认都是属于root用户的，如果不是容器的启动用户不是 root，则会导致没有操作权限，这时需要指定文件所有者和文件权限，文件的所有者必须在Dockerfile中指定，不能在宿主机中指定。
2026-09-04 11:34:48
166
原创 Docker（上）：镜像与容器的基本操作
对于一个新的刚安装好的系统，首先我们要修改镜像源，把默认镜像源替换成阿里云的镜像源。进入阿里巴巴镜像站，在搜索框输入 RockyLinux，然后点击搜索结果：复制替换命令：复制的命令如下：然后在服务器上执行上述命令，这些命令是为了安装一些必要的命令的时候，可以直接去阿里云下载安装，提升速度。接下来是安装docker关于阿里云的docker源，可以这么找：拉取 Docker 官方镜像时能加速1.3 部署服务使用 命令，就可以直接部署：容器启动后，宿主机和容器会有个端口号映射，刚刚我
2026-09-01 12:30:20
232
原创 Rockylinux 与 K8s 的安装
我的PC是英特尔，×86结构的，所以选择x86安装包，我想选择稳定一点的版本，所以选 Rocky Linux 9，接着点击修小ISO文件。下载完镜像文件后，接下来是安装，在此之前需要先安装 VMware Workstation，版本要17以后。接下来是配置工作节点，在前面配置主节点时，会出现添加工作节点的命令（红色框），我们复制下来，在工作点解输入。初学者图形化界面尽量少用，要尽量使用 kubectl，即原生 k8s 操作，因为我们要学的就是这个。
2026-08-24 17:13:05
285
原创 西湖大学强化学习第四讲——值迭代与策略迭代
值迭代算法可以拆分成两步，第一步是策略更新（就是更新各个动作的概率分布），第二步是值更新（就是把最优的策略代入值迭代公式），然后又跳转到第一步，重复这个过程：第二步的值迭代公式，它并不是贝尔曼公式，贝尔曼公式需要等式两边都是 υk\upsilon_{k}υk 或者 υk+1\upsilon_{k+1}υk+1，即需要下标一致。矩阵向量形式一般用于理论分析，真正计算还得是逐元素形式。根据上一讲，第一步的求解为：即对每一个 s∈Ss \in Ss∈S 都计算一次，最后得到的 πk+1\pi_{k+1}πk
2026-02-26 19:25:07
707
原创 Ubuntu 22.04 服务器安装教程（二）——桌面版系统
本次安装在 VMware Workstation 上，关于虚拟机的安装，可以看这篇。
2026-02-24 15:01:29
3018
原创 西湖大学强化学习第三讲——贝尔曼最优公式
在网格世界中，有以下策略，根据贝尔曼公式可以得到 state value。得到 state value 后，可以计算得到 action value：可以看到，当前状态下（S=s1S=s_1S=s1）， A=a3A=a_3A=a3 的 action value 最高，也就是说，a3a_3a3 的价值最高，但给的策略却是向右，即 A=a2A=a_2A=a2，我们需要调整策略，选择最优动作。从上面的示例可以看到，action value 可以用来调整策略。如何从数学角度比较两个策略的好坏？我们上一讲介
2026-02-21 22:26:22
763
原创 西湖大学强化学习第二讲——贝尔曼公式（Bellman equation）
上次课说到，回报（return）是轨迹的奖励（reward）之和（或者加权之和），我们可以以此评价轨迹所对应的策略的好坏。如果在一个 2×2 的网格空间中，起点为 s1，有以下三种策略，现在要评估三种策略的好坏（这里假定网格任务是持续性任务，即到达终点后并不算游戏结束，而是原地打转）。假设折扣率为γ\gammaγ，三种策略的折扣回报为：return1 和 return2 使用了等比数列求和公式，return3 则是 return1 和 return2 的加权。
2026-02-19 20:39:33
778
原创 Ubuntu 22.04 服务器安装教程（一）——非桌面版系统
接下来是问你是否需要升级到 Ubuntu Pro，这里默认是跳过 Ubuntu Pro，也就是跳过升级，我们使用默认选项，然后Continue。接下来会跳出最新的Ubuntu，问你是否更新，这里选择默认的，即 Continue without updating。接下来是远程服务配置，这里默认是不安装 OpenSSH，我们要勾选，勾选后done。这里提示说系统盘的数据会被覆盖，是否继续，我们选择“continue”重启的时候，遇到菜单不用管它，默认是 F2，即System Setup。
2026-02-07 17:19:23
693
原创 西湖大学强化学习第一讲——基本概念
入职新公司，主要做具身智能，因为之前对强化学习了解的比较少，所以现在开始系统性地学习强化学习。之所以要记笔记，是因为授课老师的PPT都是英文，复习的时候很难快速把知识点装回到脑袋里，只有把学到的知识用自己语言整理一遍，并记录成文档，才更方便复习。
2025-12-01 20:33:01
1065
原创 UV快速入门
（1）toml中的信息会被转化为一个字典，每一项就是一个键值对，它的键默认是字符串，不需要加引号，值可以是 python 中的类型，如字符串、整数、浮点数、列表、字典等；（2）如果在 toml 文件中出现方括号[xxx]则为表格，后续内容将自动解析为一个字典，实现字典的嵌套，直到出现下一对方括号[yyy]；（3）方括号[ ]和点可以配合使用，实现表格嵌套，既表格嵌套表格，然后包裹在字典中，解析出来将有三层字典；（4）如果出现连续两个方括号，如[[xxx]]，则xxx。
2025-11-07 21:24:36
1254
原创 大模型的开发应用（二十）：AIGC原理
上篇文章，我们介绍了AIGC的先修知识，介绍了 ViT、CLIP、VAE 和 Diffusion，这篇文章是在这些个模型的基础上，介绍图像生成模型（包括文生图和图生图），本文将重点介绍 Stable Diffusion 的原理。需求场景推荐采样器步数关键特性通用高质量20-30收敛快、细节适中，综合最优极致写实细节30-40不收敛、细节丰富，适合人像/皮肤纹理效率优先（草图）5-15极速生成，适合创意探索多样性创意Euler a20-30随机性强，适合角色设计/艺术创作。
2025-07-30 17:13:30
1518
5
原创 大模型的开发应用（十九）：AIGC基础
信息的载体，除了文字，还有图像、视频、声音等，另外，人类还可以根据触觉捕捉到信息，动植物也能通过温度、湿度、磁场来捕捉外界的环境变化，这些都是不同的信息模态，而所谓多模态模型，指的是能处理多种信息载体的模型。当前，多模态模型的使用已经成为了 AI 开发工程师的一项重要能力，但限于技术条件，目前只有文字、图像、视频、声音等模态的信息有比较成熟的模型，我们需要掌握文生图/视频、图/视频生文（视觉问答）、图生图等模型的原理。
2025-07-28 23:35:23
1064
原创 大模型的开发应用（十八）：大模型量化：GPTQ 与 AWQ
前面在介绍QLoRA的时候，我们介绍了 NF4 和 LLM.int8() 量化，这两种量化方式是比较常用的大模型在线量化方式，对于离线量化，目前比较常用的是 GPTQ 和 AWQ。当然，我个人做过对比实现，发现 GPTQ 和 AWQ 效果都不好容易导致模型智商下降，但面试的时候又经常被问到，因此在此对这两种量化方式做个详细的介绍。本文涉及到了比较多的数学推导，读者最好知道多元函数的泰勒泰勒展开、运筹优化的标准数学表达式和 L2 范数的含义，其他像拉格朗日乘数、Cholesky 分解。海森矩阵（Hessian
2025-07-11 00:13:26
1799
原创 大模型的开发应用（十七）：多智能体项目
本项目还是比较复杂的，主要是 supervisor 和 create_agent 这两个函数比较复杂，需要比较长的时间才能把逻辑理顺，但只要把这两个函数搞明白了，基本上这个项目就梳理清楚了。
2025-07-08 16:10:11
835
原创 大模型的开发应用（十六）：Agent 与 LangGraph基础
Agent 在早几年被翻译成代理，但这与它的实际功能并不贴切，因此这两年称呼其为 “智能体” 比较多，它是指能自主感知环境、做出决策并执行动作以达成目标的实体，通过利用大语言模型的推理能力，能够自主对复杂的人类任务进行目标规划、任务拆解、工具调用、过程迭代，并在没有人类干预的情况下完成任务。Agent 的核心在于其自主性：无需人类全程操控，能主动解决问题。LangGraph 是一个由LangChain团队开发的 Python 框架，专门用于构建复杂、有状态的多步骤工作流。
2025-06-30 20:29:23
1311
原创 大模型的开发应用（十五）：基于RAG的法律助手项目（下）：商用模型接入、RAG系统评估与前端界面
当然，两部分的评估都需要做数据，而截止到2025年6月，由于AI大模型还算比较新的领域，甲方公司一般也缺乏专业人员，他们也不知道怎么评估，更不知道怎么做数据，也没精力做，验收的时候主要还是看感觉，就是问几个比较常见的问题，然后看看回答是否符合他们的预期。上篇文章，我们使用 Qwen1.5-4B-Chat 询问相同的问题，得到的回答是错误的，当时计算的结果是 36 个月，这里我们使用智谱的商用模型，得到了正确的回答，并且回答中给出了具体的条文。的情况下得到的，我们计算得到的召回率和这两个参数高度相关。
2025-06-28 11:09:22
856
原创 大模型的开发应用（十四）：基于RAG的法律助手项目（中）：改进优化
文本嵌入模型分不清主动和被动的区别；检索出的结果相关，但答非所问；与问题不相关的节点，相似度（相关度得分）却很高；模型的回复不完整，没回复完就停了，也有可能是回复完了，但打印的不完整。本文就来解决这些问题。在系统中，重排序模型的作用是优化和提升检索结果的序质量，将最相关、最有助于生成高质量回复的文档（或节点）排在最前面。检索获得文档（或节点）列表后，重排序模型会仔细评估每个候选文档（节点）与用户查询的实际关联程度，并根据相关性分数对文档进行重新排序。
2025-06-26 17:27:35
1160
原创 大模型的开发应用（十二）：RAG 与 LlamaIndex基础
LlamaIndex 是连接私有数据与大型语言模型的桥梁，核心目标是弥合私有数据与大型语言模型（如 GPT、Claude 或本地模型）之间的鸿沟，它能够轻松构建基于检索增强生成 (RAG)的强大应用。目前 RAG 存储向量数据库，用的最多的就是 ChromaDB，所以我们这里不介绍其他向量数据库了。Chroma 是一款开源的向量数据库，专为高效存储和检索高维向量数据设计。其核心能力在于语义相似性搜索，支持文本、图像等嵌入向量的快速匹配，广泛应用于大模型上下文增强（RAG）、推荐系统、多模态检索等场景。
2025-06-21 20:46:20
1336
原创 大模型的开发应用（十一）：对话风格微调项目（下）：微调与部署
上篇文章，我们完成了数据集的制作，得到了一个拥有近两万条样本的数据集，随后进行了模型选型，筛选出了 Qwen2.5-1.5B-Instruct 作为我们的基座模型，这篇文章，我们来完成剩下的工作，包括模型的微调与部署。
2025-06-15 15:42:22
1131
原创 大模型的开发应用（十）：对话风格微调项目（上）：数据工程与模型选型
本项目是制作一款聊天机器人，机器人回复的消息，一会儿温柔（关心），一会儿毒舌（嘲讽），通过变换聊天风格，从而提供情绪价值。我: "今天好累啊" 机器人: "辛苦啦~ 要给自己泡杯热茶放松一下吗？🌸" 我: "考试没考好..." 机器人: "没关系的呀~ 下次一定会更好！需要我陪你聊聊吗？😊"我: "又胖了5斤！" 机器人: "好家伙！你这是要把体重秤压成分子料理？🏋️" 我: "游戏又输了" 机器人: "菜就多练练！需要给你推荐《从零开始的电竞之路》吗？🎮"
2025-06-13 23:46:45
1187
原创 大模型的开发应用（九）：模型的客观评估与OpenCompass
Ceval 数据集是一个专门用于评估大语言模型在中文知识和推理能力上的基准测试数据集。Ceval 数据集是一个精心构建的、覆盖多学科的中文单项选择题基准测试集。它的核心价值在于为评估和比较大语言模型在中文语境下的知识广度、深度和推理能力提供了一个标准化、全面且权威的标尺，对推动中文大模型的发展起到了至关重要的作用。当看到某个中文模型宣称在“Ceval 上达到 SOTA（State-of-the-Art）”时，通常意味着它在中文知识和推理的综合测试中表现优异。
2025-06-11 16:15:07
1681
原创 大模型的开发应用（七）：大模型的分布式训练
现代大模型（如GPT-3、LLaMA等）的参数量达千亿级别，单卡GPU无法存储完整模型，在训练时，除了模型参数占用显存，梯度和优化器状态同样占用显存，因此有必要使用分布式的方式进行模型的训练和推理。此外，训练大模型需要海量计算（如GPT-3需数万GPU小 时），分布式训练可加速训练过程。DeepSpeed之ZeRO系列：将显存优化进行到底特征张量并行 (Tensor Parallelism)ZeRO分片 (ZeRO Sharding)主要目标加速计算(并行化大矩阵运算)节省内存。
2025-06-05 12:20:33
1212
原创 大模型的开发应用（六）：使用 Xtuner QLoRA 微调模型
Xtuner 是大模型微调的另一款重要框架，截止2025年4月，最常用的就两款，LLaMA Factory 与 Xtuner，本篇文章主要介绍 Xtuner 的基本使用。XTuner 是由上海人工智能实验室（InternLM 团队）开发的高效、灵活且功能全面的大语言模型（LLM）和多模态模型（VLM）微调工具库，旨在帮助开发者在有限的硬件资源下轻松完成大模型的微调任务。XTuner 是一个适合需要高效微调大模型的开发者的工具库，尤其适合希望在有限硬件条件下快速迭代模型的团队或个人。文档# 单轮对话},
2025-06-02 14:22:55
1507
1
原创 大模型的开发应用（四）：深度学习模型量化与QLoRA微调
根据量化映射是否为线性映射，可以分为线性量化和非线性量化，其中线性量化可以分为对称量化和非对称量化，后文讲的NF4量化则是非线性量化的一种。根据量化阶段分，则可以分为训练后量化和量化感知训练，前者又可以分为训练后动态量化和训练后静态量化。根据量化粒度分，可以分为全网络统一量化、逐层量化、逐通道量化和逐块量化。我们主要关注大模型的量化，关于常规量化方式，只需要知道概念，不需要懂实操。
2025-05-27 20:03:01
1447
1
原创 大模型的开发应用（三）：基于LLaMAFactory的LoRA微调
当前（2025.5），生成模型最常用的微调手段就是LoRA微调，它是局部微调的一种，而全量微调限于数据和算力等因素，很少去使用。LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。模型种类：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等几乎世面上能见到的所有开源模型。
2025-05-20 15:38:25
1843
5
原创 大模型的开发应用（二）：大语言模型的工业部署
上篇文章讲了Llama3模型的简单部署，并且我们介绍了transformers调用大模型的通用格式，并且我们使用 streamlit 做了一个简易交互界面。但真实生产环境中，推理框架很少用transformers，这是因为该库的设计初衷是广泛兼容性和易用性，而不是专门针对特定硬件或大规模模型的性能优化。生产环境中主要用 vllm 和 LMDploy，另外，对于个人用户，ollama的使用也比较多，所以本文主要介绍这三种推理框架的使用。
2025-05-17 17:32:50
1464
原创 大模型的开发应用（一）：Llama3模型的简单部署
本系列文章是基于Meta-Llama-3-8B-Instruct模型的开发，包含模型的部署、模型微调、RAG等相关的应用。Meta-Llama-3-8B-Instruct 模型名称中的 “Instruct” 表示该模型是专门针对指令遵循（Instruction Following）任务进行优化的版本。1. “Instruct” 的核心含义任务定位：这类模型经过微调（Fine-tuning），能够更精准地理解用户指令并生成符合要求的回复，例如回答问题、执行任务、遵循多步骤指示等。
2025-05-09 16:55:59
1468
原创 语义分割快速入门
在CV领域，图像识别、目标检测用的比语义分割多很多，我在过去的几年里，几乎没有用过语义分割做过项目。但语义分割作为CV中极其重要的一环，有必要掌握。深度学习的某一个领域要想快速入门，要做的不是去看有哪些模型，而是要先把模型当成一个黑盒，然后搞明白这个黑盒的输入输出是什么，评价指标有哪些，损失函数有哪些，知道这些后，再去看看有哪些模型。
2025-04-10 14:19:40
949
原创 Pascal VOC 2012 数据集格式与文件结构
任务类型：支持目标检测、语义分割、动作识别、图像分类等。类别数量：包含 20 个物体类别（如aeroplanebicyclecar等）以及一个背景类别。图像数量训练集 + 验证集：共 11,530 张图像。测试集：未公开标注，需提交结果到官方服务器进行评估。Pascal VOC 2012 数据集的文件结构清晰，格式规范，非常适合初学者和研究者使用。它的多任务支持（目标检测、语义分割、实例分割等）使其成为计算机视觉领域的基准数据集之一。
2025-04-09 21:02:44
1917
原创 算力平台 驱动云的使用
这里打开的是入门教程，一个notebook文件，这里说明了模型、代码、数据集分别在什么路径下。如果不训练，仅仅上传数据和模型，那么也是要收费的，因为存储数据要占用驱动云的空间。因为我们的数据规模小，所以点击“网页上传文件”有了SSH命令，就能通过IDE进行远程开发了。在项目页面中，点击右上角的“进入开发环境”填写密码，然后点击“生成SSH Key”拖拽上去后，在页面的右边可以看到文件。点击确定后，就可以看到数据的内容。启动之后，就能看到我们的项目界面。当然，也可以保存环境后再销毁。
2025-02-13 17:31:56
2599
1
原创 Pycharm连接远程解释器
深度学习项目，经常需要租用云算力，这里我们以DeepLn云计算平台为例，介绍以下pycharm如何连接远程服务器。
2025-01-04 01:33:07
2118
原创 序列模型的使用示例
假如你想要建立一个序列模型，它的输入语句是这样的： “Harry Potter and Herminoe Granger invented a new spell.”，(句中的人名都是出自于 J.K.Rowling 笔下的系列小说 Harry Potter)。假如你想要建立一个能够自动识别句中人名的序列模型，那么这就是一个命名实体识别问题。命名实体识别系统可以用来查找不同类型的文本中的人名、公司名、时间、地点、国家名和货币名等等。将输入的句子定义为x，上述的输入语句中共有9个单词，可以对输入进行编号，用。
2024-12-16 15:01:47
1241
1
原创 AMPL下载安装于基本使用（二）
优化问题大部分情况下，参数有很多，约束也有很多，但大部分参数和约束都是同类型的，在数学表达式中往往都以下标来区分，例如《运筹学》（罗纳德 L. 拉丁）中的Pi Hybrids问题的优化模型的数学表示：注，这是来自书中的截图，这里的demands错误，d的下标应该为h,r。另一方面，为了让程序具有通用性，都是模型与数据分开的，即放在两个文件中，这样改数据的时候可以不用动模型。
2024-06-08 11:22:27
1088
原创 AMPL下载安装于基本使用
先去用邮箱注册注册后按照提示下载社区版，社区版中，各种求解器都有30天的免费试用权限。下载安装包的时候，如果觉得太慢，可以将下载链接复制到迅雷，迅雷下载起来快很多。
2024-06-03 23:43:27
2239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人