you鬰-优快云博客

原创 datawhale-llm-推理优化1

讨论 FlashAttention 时，可以把论文里的 “HBM” 理解为“容量大、离计算单元较远的 GPU 全局显存层”。这一轮确实是 Prefill：一次输入 9 个 Prompt token，模型为每个输入位置产生 logits，并在 24 层中分别写入长度为 9 的 K/V Cache。上下文越长，Cache 越大，普通全注意力每轮需要读取的历史也越多。RTX 4090 是 Ada，不具备 FA3 所依赖的 Hopper WGMMA/TMA 路径，因此不能把 FA3 当作 4090 的目标实现。

2026-09-16 11:07:17 45

原创 datawhale--llm-algo-leetcode[11]WSD 余弦学习率调度器

模型已经接近收敛：继续用大学习率会导致在最优解附近震荡精细调整：小学习率帮助模型在 Loss 函数的局部最优附近进行精细调整避免发散：大学习率可能导致模型"跳出"已经找到的好解。

2026-08-31 18:48:31 398

原创 datawhale--llm-algo-leetcode-task6-实战

A 跑通后再说要不要 B。C 换的是多模态任务，不要和 A 比速度。后面所有路径都相对。AutoDL 请把模型和数据放数据盘，例如。Unsloth 会钉一套 / ，和 LLaMA-Factory 容易互相覆盖。0.3 SwanLab（两个环境都装）Factory YAML 里若写了，把留成，否则项目名会被随机掉。Hugging Face 经常连不上，模型/数据走 ModelScope：0.5 A/B 锁死的超参以你正在跑的官方 LoRA YAML 为准（不是 QLoRA，没有）

2026-08-31 17:53:21 185

原创 datawhale--llm-algo-leetcode[10] LoRA

预训练模型已经在高维空间中学习到了通用特征。微调时，我们只需要在少数几个"方向"上做小幅调整，不需要重新学习所有维度。LoRA 假设微调产生的更新矩阵可以被低秩矩阵近似；实际效果需要通过具体任务实验验证。

2026-08-29 22:37:52 513

原创 datawhale--llm-algo-leetcode9️⃣ SFT Training Loop

不能笼统说 prompt 相关的所有参数都没有梯度，因为 response loss 仍可通过 Attention、残差和 Embedding 的计算图反传。不同样本的 response 长度差异很大时，应监控每个 batch 的有效 token 数；是本 notebook toy 函数为了演示“固定长度输出”而指定的练习参数，不是 decoder-only 模型的硬性要求。这不代表 prompt 不经过模型。模型内部通常会完成同样的 shift 和交叉熵，因此最重要的检查仍然是 labels 是否正确。

2026-08-29 00:28:02 368

原创 datawhale--llm-algo-leetcode8️⃣Architecture Tricks

本章讲两个常见的 architecture tricks：Token IDs[B,S]Token Embeddingweight: [V,d]Decoder Layers × Nhidden_states: [B,S,d]Final Norm[B,S,d]LM HeadLinear(d → V)weight: [V,d]Logits[B,S,V]Softmax（推理/解释时可选）Probabilities [B,S,V]Weight Tyingembed_tokens.weight 与 lm_head.we

2026-08-27 16:16:48 369

原创 datawhale--llm-algo-leetcode5️⃣LLaMA3 Block

LLaMA3 Block 是将前面学过的 RMSNorm、SwiGLU、RoPE 和 GQA 组装成完整 Decoder Layer，需要先理解 Pre-Norm 和残差连接这两个关键概念。LLaMA3 使用 Pre-Norm 架构，在 Attention 和 MLP 之前分别进行 RMSNorm，然后通过残差连接与原始输入相加。实现 LLaMA 的 Pre-Norm 残差结构。Step 1: Attention 前置归一化。Step 4: MLP 前置归一化。Step 6: 残差连接。

2026-08-25 21:13:45 344

原创 datawhale--llm-algo-leetcode4️⃣MHA GQA MQA

是每个缓存元素的字节数，例如 FP16/BF16 通常为 2 bytes，FP32 为 4 bytes。本章下面的最小代码为了单独练习 MHA/GQA/KV Cache，没有实现 RoPE；本节聚焦 A2（Multi-Head Attention）的内部实现，包括 MHA、GQA 和 KV Cache 机制。Attention 的实现涉及多头机制、KV Cache 和分组策略，需要先建立对这三个概念的基本理解。真实 LLaMA/Qwen 类模型通常会在 Q/K 切头之后对 Q/K 应用 RoPE，并把。

2026-08-25 20:56:44 415

原创 datawhale--llm-algo-leetcode3️⃣ RoPE

RoPE 的核心是利用复数旋转让 Q/K 天然携带相对位置信息，代码看起来短，但涉及频率计算、复数转换和广播对齐三个步骤，每个步骤都需要建立基本直觉。RoPE 在 Attention 内部作用于 Q/K 投影之后，Softmax 之前。它通过旋转 Q/K 向量，让注意力分数天然携带相对位置信息。后面讲二维旋转、复数乘法、shape、Attention 点积以及反向传播时，都优先沿用这套数据。这种设计本身并不是“无法计算”训练长度之外的位置：正弦位置编码可以继续生成更大的位置索引。Attention 计算。

2026-08-22 02:08:51 233

原创 datawhale--llm-algo-leetcod2️⃣SwiGLU

83d38d使用 SwiGLU 后，MLP 的参数量从2d×h2d×h变为3d×h3d×h（多了一个升维投影）。为了保持总参数量与标准 MLP 相当，需要调整隐藏层维度。

2026-08-22 01:49:17 294

原创 datawhale--llm-algo-leetcod1️⃣RMSNorm

步骤操作输入形状输出形状说明1提升精度FP16FP32防止平方溢出2计算均方值[2, 16, 1]保留维度3乘以 rsqrt×[2, 16, 1]广播机制4乘以 weight×[512]weight 广播5恢复精度FP32FP16对齐输入精度为什么需要普通 Tensor 不会自动成为模型参数。会被找到。优化器会在训练过程中更新它。

2026-08-19 20:30:03 537

原创 datawhale--llm-algo-leetcode0️⃣pytorch基础

Embedding 告诉模型“这个 Token 是什么”，但单独的 Embedding 并不知道 Token 出现在句子的第几个位置。需要注意：在采用 RoPE 的主流大模型中，RoPE 通常不是直接加到 Embedding 输出上，而是在注意力层中作用于。原始文本需要先经过分词器，例如 BPE，转换成词表中的编号，也就是。无论是注意力里的多头合并，还是图像特征、文本特征的整理，都会反复用到张量形状重排。每一对维度使用不同的旋转速度。数字索引虽然简短，但维度较多时容易写错，也不容易看出每个数字的含义。

2026-08-17 19:44:57 247

原创 Gemma 4 模型微调（Fine-Tuning）

微调= 在已训练好的通用模型基础上，用专精数据再训练，使其成为领域"专家"。预训练= 学会通识微调= 专精特训per_device_train_batch_size=4, # 每张卡 batch sizegradient_accumulation_steps=4, # 梯度累积步数# 等效 batch size = 4 × 4 = 16lr_scheduler_type="linear", # 线性学习率衰减warmup_steps=50, # warmup 步数。

2026-06-11 14:07:05 245

原创 Gemma 4 模型部署

给定前面的文字，预测下一个字是什么。传统程序：程序员手写规则（如"遇到 + 号就做加法"）大模型：从海量数据中自己总结语言规律，无人教它语法规则计算每个候选词的概率选概率最高的词拼接到已有文本，继续预测下一个确认环境—— GPU + PyTorch 可用下载模型—— ModelScope 拉取 Gemma 4 权重启动推理服务—— vLLM 加载模型，暴露 API对话验证—— 客户端连接服务，测试回答。

2026-06-11 10:59:46 193

原创 2️⃣处理文本数据

LLM 需要将文本数据转换为数值向量，这称之为嵌入，因为它们无法处理原始文本。嵌入将离散数据（如单词或图像）转化为连续的向量空间，从而使其能够与神经网络操作兼容。作为第一步，原始文本被分解为token，这些token可以是单词或字符。然后，这些token被转换为整数表示，称为token ID。可以添加特殊token，如 <|unk|> 和 <|endoftext|>，以增强模型的理解能力，并处理各种上下文，例如未知单词或无关文本之间的边界分隔。

2025-07-21 20:13:11 1102

原创 MOE-lecture 4【CS336】

DeepSeek V3代表MoE的巅峰，671B参数与37B激活的组合使其在性能和成本间达到平衡，适合复杂任务。Qwen MoE展现通用潜力，MiniCPM则填补边缘计算空白。未来，MoE发展将聚焦上下文扩展和分布式优化。MoEs利用稀疏性——并非所有输入都激活完整模型这表明MoE通过稀疏激活机制（仅激活部分专家子网络）来处理输入数据，而不是像传统密集模型那样激活所有参数。这种设计显著降低了计算成本，同时保持了模型的表达能力。离散路由优化，但并非所有输入都激活完整模型。

2025-07-20 01:17:18 729

原创用AI做带货视频评论分析进阶提分【Datawhale AI 夏令营】

【代码】用AI做带货视频评论分析进阶提分【Datawhale AI 夏令营】

2025-07-16 23:16:56 356

原创用AI做带货视频评论分析【Datawhale AI 夏令营】

本文介绍了一个利用AI分析电商带货视频用户评论的实战项目。通过NLP和大模型技术，从6477条评论数据中挖掘商业价值，主要包括：1) 识别评论提及的商品；2) 进行多维情感分析（正面/负面/中性，以及场景、疑问、建议等属性）；3) 对特定维度的评论聚类并提炼主题词（如"性价比"等）。项目采用TF-IDF编码+SGDClassifier分类器+KMeans聚类的基础方案，同时探讨了使用大模型提升效果的思路。最终产出可帮助品牌方优化选品、评估带货效果，实现数据驱动的商业决策。

2025-07-11 23:00:10 1296

原创 1️⃣理解大语言模型

下图是简化版的transformer架构：transformer架构由两个子模块组成：编码器和解码器。编码器和解码器都是由多个层通过自注意力机制相连。类别作用例子编码器处理文本输入，将其编码为一系列数值表示或向量，以捕捉输入的上下文信息翻译任务1:编码器将原语言文本编码为向量解码器利用编码向量生成输出文本翻译任务2:解码器会将这些向量解码为目标语言的编码。

2025-07-09 23:13:10 727 1

原创 4090 cuda12.8安装vllm

vllm官方二进制文件默认支持cuda 12.1和11.8，cuda12.8通常可以向下兼容cuda 12.1。

2025-07-01 14:02:23 2388

原创 FastAPI 基础入门(五)

Pydantic是一个使用Python类型注解进行数据验证和管理的模块。它可以在代码运行时强制进行类型验证，当数据类型不符或数据无效时抛出友好的错误提示。这个功能可让开发者及时了解错误信息。FastAPI框架整合了Pydantic，以求为开发者提供更多便利。❑ 支持使用Python的类型提示来定义数据模型，这使得代码更加易于阅读和维护。❑ 提供了一些内置的验证器，可以对输入数据进行验证，确保输入的数据类型、格式、范围等符合预期。❑ 自动解析并验证请求中的视图函数参数、查询参数以及Body参数等。

2025-06-29 14:05:37 940

原创 yolo[datawahle](2)

在torch.nn中其实有一个BCELoss的实现，还有一个BCEWithLogitsLoss，在下面的代码里，我们可视化了CustomBCELoss和nn.BCELoss的Prediction值的分布和并进行了Gradient值的比较，测试结果显示CustomBCELoss和官方实现的nn.BCELoss效果基本相同。但是我们希望，目标边界的分布最好能够满足真实值附近的概率较大，这样可以快速收敛于理想值，因此，我们使用DFL作为损失函数，得到一个理想的边界分布。BCE：二元交叉熵损失。

2025-06-21 00:14:15 695

原创 YOLO-Master[datawhale](1)

参考🔗：https://wvet00aj34c.feishu.cn/docx/U8STd5txXod1R5xhrrmcZh9fnTf**目标检测的背景：**目标检测是计算机视觉中一项关键任务，应用于自动驾驶、安防监控、无人机导航和智能家居等领域。主要解决2个问题：1）**物体分类：**确定图像中物体的类别2）**定位问题：**精确地找到每个物体的具体位置，通常用边界框表示**YOLO(You Only Look Once)😗*讲目标检测视为一个单一的回归问题，通过一个卷积神经网络一次性完成图像中所有物体

2025-06-17 21:54:56 1214

原创 FastAPI基础入门(四)

自定义异常可以继承自Exception或者其他已经实现的Exception类的子类。raise CustomException(message='抛出自定义异常')自定义了一个CustomException异常，并且通过@app.exception_handler(CustomException)装饰器进行了全局CustomException异常的捕获处理。

2025-06-12 16:53:43 809

原创 FastAPI基础入门(三)

swagger-ui.css和swagger-ui-bundle.js资源是从第三方的cdn服务商上加载的，第三方服务cdn服务出现问题会导致无法加载可视化API文档界面。为避免这种情况，可以自定义（或改造）并渲染html模版中的一些变量，让swagger-ui.css和swagger-ui-bundle.js等静态资源从本地进行加载。# 确保静态文件目录存在import os。

2025-06-11 21:54:23 1112

原创 FastAPI（一、二）

FastAPI框架不仅具有Flask或Django的Web核心功能，还兼具异步特性，可以同时兼容同步和异步这两种模式的运行。也就是说，用户可以使用同步的方式编写API，也可以使用异步的方式来编写API。官方文档。

2025-05-14 00:53:07 1533

原创 AI预测蛋白质（AI4S）——datawhale春训营

本次赛题的核心是IDRs预测问题，需要参赛者基于给定的蛋白质序列信息，准确预测蛋白质的内在无序区域。在生物体系中，蛋白质并非总是维持着固定的刚性结构，相当一部分蛋白质或其部分区域处于无序状态，即所谓的内在无序蛋白（IDPs）以及蛋白质中的无序区域（IDRs）。通过对反应中所包含的蛋白质残基信息，运用机器学习模型或者深度学习模型构建蛋白质3D结构的隐式模型，从而达成准确预测蛋白质内在无序区域（IDRs）的目的。相关数据集：多种蛋白质的序列信息和对应的由实验方式获取的内在无序区域（IDRs）

2025-05-06 12:37:40 1136

原创 [AI+新能源]Task2 整体流程——Datawhale AI 春训营

数据探索性分析，是通过了解数据集，了解变量间的相互关系以及变量与预测值之间的关系，对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法，从而帮助我们后期更好地进行特征工程和建立模型，是机器学习中十分重要的一步。观测上步代码结果可知气象数据中新能源场站每个小时的数据维度为 2 （11x11），但构建模型对于单个时间点的单个特征只需要一个标量即可，因此我们把 11x11 个格点的数据取均值，从而将二维数据转为单一的标量值。

2025-04-19 23:33:05 684

原创 [AI+新能源]Task1 baseline

本次大赛提供覆盖多个场景的新能源场站历史发电功率数据和对应时段多类别气象预测数据，预测次日零时起到未来24小时逐15分钟新能源场站发电功率。气象源1(NWP_1)、气象源3(NWP_3): [u100, v100, t2m, tp, tcc, sp, poai, ghi], 气象源2(NWP_2): [u100, v100, t2m, tp, tcc,msl,poai,ghi]统计精度时，每个场站每天单独计算一个精度值，并对其在所有评测天数内的精度值求平均，得到该场站的整体精度。为所有预测日的精度平均值。

2025-04-15 21:44:25 1064 1

原创 datawhale&ch6量化调仓策略

风险是指在未来可能发生的不确定性事件所带来的潜在损失。在投资领域中，风险通常指投资所面临的不确定性和潜在的损失。投资的风险通常由多种因素决定，包括市场波动、政治和经济环境、行业和公司的基本面等。投资的风险越高，意味着投资者可能面临更大的损失，但同时也可能获得更高的回报。等权重市值加权最小方差组合最大分散度风险平价没有任何信息或者偏好时，等权重是最简单的办法，即赋予组合中每个证券相同的权重，意味着我们视每个证券具有同等的重要性。

2024-10-30 00:36:44 1238

原创 datawhale&ch5量化择时策略

量化择时策略，采用数量化分析方法，利用单个或多个技术指标的组合，来对交易标的股票或股票指数进行低买高卖的操作，期望获得超越简单买入持有策略的收益风险表现。量化择时策略的核心是技术分析，更准确地来说，是客观型技术分析。客观型技术分析，是指其分析过程中所用到的分析方法，具有100%客观的定义标准，不含有任何主观定义的部分。

2024-10-28 23:43:40 1752

原创 datawhale&ch4量化选股策略

本节主要了解了为什么需要选股、单/多因子选股模型、常见的因子分类以及常见的因子有效性检验方法、行业与市值中性化和python多因子选股策略实践。

2024-10-26 00:26:00 1378

原创 datawhale&ch3股票数据获取学习

①移动平均线通过计算一段时间内的股票平均价额来平滑价格波动。常见的移动平均线有简单移动平均线（SMA）和指数移动平均线（EMA）简单移动平均线（SMA）simple moving average:简单移动平均线是最基本的移动平均线类型。通过一段时间内的股票收盘价相加，然后除以时间段的天数来计算的。简单移动平均线可以平滑价格波动，显示出长期趋势。指数移动平均线（EMA）exponential moving average:指数移动平均线对近期价格给与更高的权重，反映了市场更近期的变化。

2024-10-22 23:50:51 1017

原创图深度学习（二）

图理论学习基础

2024-09-23 19:03:17 859

原创图深度学习(一）

学习葡萄书

2024-09-21 16:47:51 892

原创 langchain+neo4j 实现图谱GraphRAG

参考文档：https://blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/源代码参考复现：https://github.com/tomasonjo/blogs/blob/master/llm/enhancing_rag_with_graph.ipynb?3.后续需要调整代码，限制节点的类型，以及关系的类型。② 构建结构化的检索器。

2024-06-24 14:23:48 5904 12

空空如也

nlp_毕业论文&命名实体识别&关系抽取