- 博客(7)
- 收藏
- 关注
原创 PyTorch框架学习
PyTorch是一个由Facebook研究院(FAIR)在2016年发布的开源深度学习框架,专为GPU加速的深度神经网络(DNN)编程而设计。它以其简洁、灵活和符合Python风格的特点,在科研和工业生产中得到了广泛应用。
2025-12-04 11:19:36
717
原创 大模型微调学习有感
模型微调(Fine-Tuning)是一种基于预训练模型的迁移学习技术,通过在特定任务数据集上进一步训练,调整模型参数以优化其在特定领域的性能。这一过程能够利用预训练模型已有的通用知识,同时适应新任务的需求。下图表示了7种主流微调方法在Transformer网络架构中的作用位置及其简要说明。
2025-12-02 18:58:42
1207
原创 SFT监督微调学习有感
SFT(Supervised Fine-Tuning)的全称是 “监督微调”。它是大语言模型训练的第二阶段,是让 AI 从 “知识储备” 迈向 “实用对话” 的关键一步。如果说:预训练是 “读万卷书”(获得知识);那么 SFT 就是 “上岗实习”,由人类手把手教学,让 AI 学会如何对话和听懂指令,像是把一个满腹经纶却不知如何表达的学者,培养成能与人顺畅交流的实干者。
2025-12-02 18:20:49
371
原创 Transformer模型学习有感
解码器栈的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢?通过一个线性层再加上一个 Softmax 层实现。线性层是一个简单的全连接神经网络,其将解码器栈的输出向量映射到一个更长的向量,这个向量被称为 logits 向量。现在假设我们的模型有 10000 个英文单词(模型的输出词汇表)。因此 logits 向量有 10000 个数字,每个数表示一个单词的分数。然后,Softmax 层会把这些分数转换为概率(把所有的分数转换为正数,并且加起来等于 1)。
2025-12-01 10:52:05
1124
原创 二叉树总结
从数组或遍历序列建树(中序+后序、最大二叉树、有序数组构建 BST):层序 BFS 类题(找某层值、左下角、层序打印):遍历类,访问所有节点(统计、打印、路径收集)前序:根 → 左 → 右 → 常用于路径、打印。后序:左 → 右 → 根 → 常用于修改、判断。:BST 搜索、BST 的 LCA、最小绝对差。:判断类(最大深度、最小深度、平衡、对称):按层处理,每层可单独统计、收集结果。:路径总和、查找节点、LCA(普通树):翻转、合并、修剪、累加树、删除节点。:找每层最左、最右、每层属性统计。
2025-11-30 13:14:21
504
原创 LLM大模型学习有感
LLM(Large Language Model)是基于大量文本数据训练的大规模,能够理解、生成和操作自然语言。通过大量数据的训练,LLM 学会了语言的规则、模式、上下文关系等,并能够生成连贯、自然的文本。
2025-11-30 11:13:02
747
原创 LeetCode刷题笔记
i=mid+1;res[0]=i;n=mid-1;res[1]=n;return res;2.2数相加/*** int val;=null||l2!0:l2.val;sum=sum%10;if(l1!if(l2!
2025-11-05 20:24:44
338
空空如也
为什么import okio会报错(标签-xml)
2024-03-12
安装pytorch 出现没有没有找到安装环境
2022-11-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅