自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(26)
  • 收藏
  • 关注

原创 diy-llm 第4章:语言模型架构和训练的技术细节

Post-Norm↓Pre-Norm↓RMSNorm↓这一章其实回答了四个关于transformer的连续问题。

2026-08-27 02:57:47 356

原创 diy-llm 第3章 PyTorch 与资源核算

大模型中的pytorch应用和资源核算

2026-08-23 02:56:18 222

原创 【Hello Agents进阶篇学习笔记】01智能体经典范式构建

用户问题->ReactAgent->LLM(决策)->ToolExecutor(工具调度)->外部工具(search API)->结果返回->~(循环/结束)LLM封装流程:调用OpenAI API,使用stream流式输出Tool工具设计一个工具包括:Name+Descriuption+Function流程:调 SerpApi,获取 JSON 结果,智能解析ToolExecutor(工具管理器)作用是管理多个工具name: {"func": ~方法作用注册工具。

2026-04-16 01:04:48 239

原创 大模型算法全栈基础篇 06命名实体识别

3.半监督/迭代式标注:人工标注训练学生小模型作为自动标注器+人工修改核对。模型:embedding层(提取特征/可预训练)+分类器(B/I/O)实现方式: 写Prompt,NER -> Seq2Seq生成任务。知识图谱构建-找实体和关系;信息抽取-无结构->结构化。输入:原始文本,输出:生成包含实体信息的结构化文本。智能问答/对话系统:理解用户问题/需求,并回答。2.大语言模型辅助标注:大模型预先标注+人工修改。每个实体类型,训练独立的分类器(类似多分类实现)搜索引擎优化: 已识别实体,搜索并选取实体。

2026-02-27 02:42:20 54

原创 大模型算法全栈基础篇 05预训练语言模型

transformer原始结构为encoder+decoder,衍生出的预训练模型可以根据结构分为encoder-based的BERT()和decoder-based的GPT(Generative Pretrained Transformer)。1.【句中】Masked Language Modeling(MLM):用输入的一部分预测输入的另一部分。本质IDEA:预测词本身就是在建模语言分布,P(word|context)。语法结构、主谓一致、词语搭配、语义关系、上下文依赖、长距离依赖。

2026-02-23 02:58:26 73

原创 大模型算法全栈基础篇 04注意力机制与Transformer

encoder中通常使用双向RNN(正反序列都生成作为context vector),目的是获得更完整的语义信息。decoder中通常使用单向RNN解码(生成),因为在生成时只能看到前文的信息(forward direction)。:不同序列生成的KV(encoder输出:源序列)+Q(decoder输入:目标序列),idea:生成目标序列()每一步都利用源序列的信息。对于LSTM-decoder结构的自回归,无需担心重复运算,RNN结构天生缓存了上个状态,时间复杂度O(T).:同一序列生成Q、K、V。

2026-02-19 02:48:33 401

原创 大模型算法全栈基础篇 02 RNN与LSTM

与kernel size有关;对于t=3的case,该文本序列的特征表示为h3。目的:得到词向量序列后,提取有效特征。RNN结构:(紫色s为上一时间步),每个词向量接相同权重网络。RNN计算图:隐藏层。

2026-02-16 02:56:45 46

原创 大模型算法全栈基础篇task01 Intro

2026-02-10 02:53:04 41

原创 大模型基础与量化微调 06:大模型量化与训练(微调量化篇第3章)

2026-01-29 02:54:47 242

原创 大模型基础与量化微调 05- RLHF(微调量化篇第2章)

2026-01-27 02:55:50 165

原创 大模型基础与量化微调 04- 参数高效微调(微调量化篇第1章)

从PEFT到LoRA。

2026-01-25 02:58:04 263

原创 大模型基础与量化微调 03- 手撕大模型生成策略

Llama2 = 预归一化+RoPE+GQA。

2026-01-21 02:58:27 162

原创 大模型基础与量化微调 02- 预训练

2026-01-18 02:57:38 286

原创 大模型基础与量化微调01-Transformer与注意力机制

2026-01-15 01:54:15 275

原创 cs285深度强化学习课程笔记-lec1

cs285深度强化学习课程笔记-lec1

2022-08-27 00:13:04 526

原创 快速排序时间复杂度分析-最好、最坏、平均

快速排序时间复杂度分析-最好、最坏、平均

2022-06-01 21:24:08 1587

转载 VMware Workstation Ubuntu 20.04 无法连接网络问题的解决方案/DNS配置

VMware Workstation Ubuntu 20.04 无法连接网络问题的解决方案/DNS配置

2022-05-01 15:36:41 3771 5

原创 cs61c笔记-Lecture7 RISC-V汇编语言

RISC-V汇编语言计算机架构/寄存器概念/RISC-V下的寄存器/RISC-V指令集语法

2022-01-28 15:34:05 1271

原创 cs61c笔记-Lecture6 floating points浮点数

浮点数、NaN、无穷、非规格化数详解floating point、NaN、Infinity、denormfloating point

2022-01-23 17:23:54 1193

原创 cs61c笔记-Lecture5 malloc函数的使用(结合指针的定义)

malloc函数的使用

2022-01-21 16:17:29 612

原创 cs61c笔记-Lecture4+数组作为函数参数使用

数组作为函数参数使用

2022-01-21 13:14:27 968

原创 cs61c笔记-Lecture4指针、函数指针与数组应用

------地址传递和值传递详解

2022-01-18 18:13:01 767

原创 随机选择算法时间复杂度分析

随机选择算法时间复杂度分析首先提供算法的伪代码:算法是递归算法时间复杂度分析思路:计算每一次递归语句所消耗的时间,再求和。为了分析需要,我们先定义如下的量:定义状态j:数组长度在[(3/4)(j+1)n,(3/4)jn]时,程序处在状态j。定义Xj: 程序处于状态j时调用的递归次数, 即调用Xj次递归之后程序进入第j+1个状态。partition的时间复杂度为c* n,其中c为常数,n为数组长度,且一次partition至多遍历数组的两倍长度,即c<=2。因此,我们可以得到时间复杂度

2021-10-28 01:20:07 2168 1

原创 计数排序/counting sort

counting sort 计数排序算法思想main idea1.用统计的思想完成排序2.以空间换时间算法思路1、给定一个整数数组origin和排序的整数范围k2、创建一个count 数组,置零3、遍历origin数组,origin元素值转化为count数组的index,相应index的位置+1…得到以元素值为index,出现个数为value的count数组。4、创建result数组,遍历count数组,跳过值为0的位置(表示没有以index作为value的数,无需加入结果),对非零的位置,

2021-10-11 00:45:39 228

原创 C++输入输出流

pro1.1 cin,cout,cerr概念cin 是 C++ 标准输入流对象,即 istream 类的对象。cin 主要用于从标准输入读取数据,这里的标准输入指终端键盘。cout 是标准输出流对象,即 ostream 类的对象。cerr 是标准错误输出流对象,也是 ostream 类的对象。这里的标准输入指终端键盘,标准错误输出指终端屏幕。pro1.2 输入输出与缓冲区在理解 cin 功能时,不得不提标准输入缓冲区。当我们从键盘输入字符串的时候需要敲一下回车键才能够将这个字符串送入到缓冲区中,

2021-09-25 17:30:35 377

原创 初始化与赋值

初始化与赋值在C++中都是用“ = ”的格式表示,但两者逻辑上不尽相同。初始化是赋予一个空的变量一个值。赋值是将清除变量的旧值,用新的值替换旧的值。当然,从逻辑的角度是如此,但是从计算机内存的角度,两者都是分配空间的问题。下面是三者的定义:对象:有某种类型的储存区域。变量:有名字的对象。值:赋给变量的数据项。...

2021-09-25 17:22:07 901

train.py

train.py

2024-04-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除