- 博客(21)
- 收藏
- 关注
RSS订阅原创 hot100 day1 [1-10题]
查找最好用hash 因为时间复杂度平均o(1)如果对时间复杂度的要求有 log，通常都需要用到二分查找当下一步的值与上一步相关，即能写出状态转移函数时，考虑dp组合生成/全排列问题 考虑回溯/dfs。
2026-02-21 03:33:20
71
原创 【基模组实习】大模型对话相关：从 API 构造到内部处理
④ 模型拿到 messages 后的完整流水线（tokenize → 位置编码 → 连续批处理 → 采样）。① 主流模型（GPT / Claude / Llama / GLM）各自规定的对话字段长什么样；每生成一个 token → 立即 SSE push → 前端逐字渲染；后台仍在连续批处理循环。关键：本地推理也需把 messages 转成。）在系统提示、多轮、工具调用里的作用；不同家 token 互不兼容。③ 手把手拼出 HTTP 请求体；结论：所有模型对外都用。的 prompt，只是。
2026-01-07 22:12:38
992
原创 【基模组实习】从 Megatron 到 Hugging Face：大模型训练流程相关
Tokenizer =「文本 → 整数列表」的双向映射表；决定模型「看到的」全部符号。
2026-01-06 20:43:18
939
原创 【基模组实习】vllm & 并发/流式推理相关
🚤推理速度慢：GPU利用率低，响应延迟高📊并发上不去：显存利用率低，无法支持大量请求🔧部署复杂：流式非流式切换麻烦，端口配置混乱vLLM就是为解决这些问题而生的。# 1. 模型准备# 2. 服务启动# 3. 性能测试。
2026-01-05 23:59:48
860
原创 【基模组实习】VSCode相关技术栈指南
作为大模型开发者，我们每天都在和远程服务器打交道。本文总结了我踩过的坑和积累的经验，涵盖VSCode远程连接、文件传输、进程管理等核心技能。# 1. 通过跳板机连接GPU服务器ssh gpu-server # 已配置ProxyJump# 2. 上传训练数据# 3. 启动训练任务（使用nohup）# 4. 实时监控（在VSCode集成终端）# 5. 下载训练结果掌握这些VSCode远程开发技能，能显著提高大模型开发效率。后续会分享更多大模型开发实战经验，欢迎关注交流！
2026-01-05 00:13:06
831
1
原创 力扣hot100思路
倒序遍历，先找到第一个nums[i]<nums[i-1]的对，表明这是尽量靠右的可以变大的数对。再倒序遍历一遍，找到只比i-1大一点的j，交换。维护两个变量：candidate和cnt，遍历一遍，如果是candidate则cnt+=1，否则cnt-=1。cnt=0时换candidate。如果一个数为众数，那么他在一个区间的左右两部分中至少有一部分也为众数。递归到长度为1的区间。2.双指针一次遍历：p0和i的数字换，如果p0<p1就把i放到p1；1.单指针两次遍历：第一次先换0，第二次换1。
2025-11-03 01:34:04
233
原创 #动手学深度学习# ——卷积神经网络
卷积层对输入和卷积核权重进行互相关运算，并在添加标量偏置之后产生输出。所以，卷积层中的两个被训练的参数是卷积核权重和标量偏置。
2025-09-02 16:37:45
265
原创 模型大小—显存占用—混合精度关系
模型大小（7B）│├── 精度压缩：FP32 → FP16 → INT8 → INT4│ ↓│ 2× 4× 8× 显存节省│├── 显存大头：优化器状态（FP32） ← 用 ZeRO/LoRA 再砍│└── 混合精度 = FP16计算 + FP32锚点 + LossScaling。
2025-09-01 16:36:14
564
原创 #动手学深度学习# ——暂退法
暂退法在前向传播过程中，计算每一内部层的同时注入噪声，从表面上看是在训练过程中丢弃（drop out）一些神经元。通常，我们在测试时不用暂退法。给定一个训练好的模型和一个新的样本，我们不会丢弃任何节点，因此不需要标准化。在整个训练过程的每一次迭代中，标准暂退法包括在计算下一层之前将当前层中的一些节点置零。
2025-08-12 17:03:32
270
原创 #动手学深度学习# ——权重衰减
L2正则化线性模型构成经典的岭回归（ridge regression）算法， L1正则化线性回归是统计学中类似的基本模型， 通常被称为套索回归（lasso regression）。使用L2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。相比之下，L1惩罚会导致模型将权重集中在一小部分特征上， 而将其他权重清除为零。要保证权重向量比较小， 最常用方法是将其范数作为惩罚项加到最小化损失的问题中。为什么选择L2范数？
2025-08-09 20:19:41
292
原创 #动手学深度学习# ——模型选择、欠拟合和过拟合
然后执行K次模型训练和验证，每次在K-1个子集上进行训练， 并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。即使模型很简单，也很容易过拟合只包含一两个样本的数据集。而过拟合一个有数百万个样本的数据集则需要一个极其灵活的模型。泛化误差（generalization error）：模型应用在同样从原始样本的分布中抽取的无限多数据样本时，模型误差的期望。当可调整参数的数量（有时称为自由度）很大时，模型往往更容易过拟合。训练误差（training error）： 模型在训练数据集上计算得到的误差。
2025-08-08 21:39:30
254
原创 #动手学深度学习# ——MLP
至此仿射变换的放射变化仍是仿射变换，所以需要激活函数来防止MLP退化为单层线性模型。输入层不计入层数，共2两层，都是全连接的。将其输入压缩转换到区间(-1, 1)上。输入变换为区间(0, 1)上的输出。H为隐藏层输出 ->隐藏变量。参数是负的仍可以通过。
2025-08-07 20:39:35
316
原创 python基础应用
本文总结了Python编程的核心知识点，涵盖标识符、变量、常用模块（math/string/time）、数据结构（列表/字典/元组）、运算符、函数、模块导入、文件I/O、异常处理、面向对象编程和正则表达式等。重点内容包括：可变/不可变数据类型区别，math/string模块常用方法，浅复制与深复制，函数参数传递机制，类继承与内置属性，以及re模块的match/search/sub等正则操作方法。文章通过代码示例和对比说明（如元组与列表的异同、匿名函数与内联函数区别），系统梳理了Python语法要点和常用功能
2025-07-30 21:59:23
1064
原创 #动手学深度学习# 线性神经网络——线性回归
（2）从数据集中随机抽取小批量样本且在负梯度的方向上更新参数，并不断迭代这一步骤。机器学习模型中的关键要素是训练数据、损失函数、优化算法，还有模型本身。形式：y=Xw+b. 求和用张量的广播机制：复制扩展，逐元素相加。以最大似然估计的方法，w\b的最优值是使所有数据的似然最大的值。目标：给定训练集，寻找模型的权重w和偏置b，使得损失函数最小。为什么系数是1/2？矢量化使数学表达上更简洁，同时运行的更快。线性回归模型也是一个简单的神经网络。前提：认为自变量和因变量是线性的。梯度：损失函数对于模型参数的导数。
2025-07-28 21:37:33
294
原创 筛法&容斥原理
筛法&容斥原理筛法容斥原理筛法埃氏筛法const int N = 1000010;int n, primes[N], cnt;bool st[N];void get_primes(int n){ for(int i = 2; i <= n; i++) { if(!st[i]) { primes[cnt++] = i; for(int j = i + i; j <= n; j
2021-02-07 21:13:14
407
原创 2021-01-31
二分查找例题基本的1. 思路2. 条件3. 可以用来干什么？（什么样的题考虑二分？）题基本的1. 思路就是不断在一半里找，如果在前1/2，那么右边界就变，后1/2左边界变。注意求临近最大值时：r=mid,l=mid+1,mid=(r+l)>>1;求临近最小值时：l=mid,r=mid-1,mid=(r+l+1)>>1;2. 条件有一个确定的范围答案只有一个答案必须满足单调性（连续上升或下降）3. 可以用来干什么？（什么样的题考虑二分？）1. 查找元素位
2021-01-31 21:55:10
535
原创 C++入门
2021-01-24总结C++基本语法头文件using namespace std输入输出和c不同的定义常量/变量const定义常量bool变量string 定义字符串引用/传值STL库C++基本语法头文件include<bits/stdc++.h> //万能头#include <cmath> // 相当于C语⾔⾥⾯的#include <math.h>#include <cstdio> // 相当于C语⾔⾥⾯的#include <stdio.
2021-01-24 22:18:59
253
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人