- 博客(34)
- 收藏
- 关注
RSS订阅原创 优化器optimizer及实例化代码
Nesterov动量由Yurii Nesterov在1983年提出，它是一种动量优化方法，通过结合前几步的梯度信息来调整当前的更新。Nesterov动量的主要思想是，利用历史梯度信息来预测当前梯度的方向，从而更有效地进行参数更新。
2025-03-07 21:38:38
526
原创 MCC（Matthews Correlation Coefficient）分数
MCC（Matthews Correlation Coefficient）分数是一种用于评估的指标。它综合考虑了真正例（TP）、假正例（FP）、真负例（TN）和假负例（FN）的数量，能够提供一个更全面的模型评估，尤其是在类别不平衡的情况下。
2025-03-05 15:10:36
353
原创 F1分数，调和平均数
精确率 (Precision): 在所有被模型预测为正类的样本中，实际为正类的比例。其中：TP（True Positives）: 真阳性，正确预测为正类的样本数量。FP（False Positives）: 假阳性，错误预测为正类的样本数量。召回率 (Recall): 在所有实际为正类的样本中，被模型正确预测为正类的比例。其中：FN（False Negatives）: 假阴性，错误预测为负类的样本数量。F1 分数什么是调和平均数?为什么使用调和平均数？
2025-03-05 14:32:06
310
原创 【机器学习】训练(Training)、验证(Validation)和测试(Testing)
这种三阶段的划分方法是机器学习中的最佳实践，能够帮助我们建立既能在训练数据上表现良好，又能很好地泛化到新数据的模型。- 这种划分方法有助于评估模型的真实性能，避免过拟合。- 通常使用最大的数据集比例（60-80%的数据）- 这个阶段可能会多次重复，直到找到最优的模型配置。- 这个阶段只进行一次，用来评估最终模型的实际性能。- 使用测试集对最终选定的模型进行评估。- 使用验证集来评估模型的泛化能力。- 防止过拟合，选择最佳的模型配置。- 通常使用 10-20% 的数据。- 通常使用 10-20% 的数据。
2025-02-06 17:40:15
418
原创 【Msys2】
除了常用的开发库和工具之外，MSYS2还提供了许多专门针对Windows平台的库和工具，方便开发人员进行跨平台开发和移植工作。很多人都觉得 Linux 相比于 Windows 而言更适合开发，但由于 Windows 在 PC 上占有量巨大，一些程序即使原本在 Linux 上开发的，最终往往需要部署到 Windows 环境。由于MSYS2拥有比较完整的Linux工具链和库，因此它成为了许多跨平台开发和移植项目的首选工具。在跨平台开发中，宏特别有用，因为它可以帮助我们根据不同的操作系统编写适配的代码。
2025-02-06 17:38:19
177
原创 【Orca】Orca - Graphlet 和 Orbit 计数算法
Orca（ORbit Counting Algorithm）是一种用于对网络中的小图进行计数的有效算法
2025-01-08 15:33:34
959
原创 【深度学习】EMA指数移动平均
EMA通过对参数进行平滑处理，使得较新的参数值对应的权重较大，较旧的参数值对应的权重较小。这样可以更好地反映参数的变化趋势，并在模型训练中提供更稳定的更新。下面是一种常见的使用EMA进行参数更新和优化的方法，称为。
2025-01-07 10:31:10
912
原创 【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（五）
***非斜体正文为原文献内容（也包含笔者的补充），灰色块中是对文章细节的进一步详细解释！五、 解释评估（Explanation Evaluation）在前面的章节中，我们介绍了不同的解释技术和它们的用途，但评估它们如何忠实地反映模型的推理过程仍然是一个挑战。我们将评估大致分为两类：传统微调范式的局部解释评估（第5.1节）和提示范式中自然语言CoT解释的评估（第5.2节）。评估的两个关键维度是和。从技术上讲，评估解释包含和。人工评估通过模型依据（model rationales）与人类依据。
2025-01-01 19:11:33
917
原创 【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（四）
发现在保持或提高T5-XL模型在保留数据集上的性能的同时，可以移除60%。此外，一些研究还深入研究了LLMs生成的。
2025-01-01 14:44:46
1228
原创 【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（三）
从而实现对模型的解释。这种方法通过引入抽象概念，使得模型的解释更加易于人类理解，而不是仅仅依赖于低层次的特征。在潜在空间中的信息也可以被转换成易于理解的解释。一个代表性的框架是。
2024-12-30 21:45:16
1391
原创 【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（二）
方式上存在差异。例如，梯度可以是。
2024-12-30 12:22:48
1017
原创 【Transformer】超全详解！
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的Q, K, V矩阵通过输出进行线性变换得到。
2024-12-29 15:20:26
1019
原创 【Transformer】位置embedding的理解
由于sin是周期函数，因此从纵向来看，如果函数的频率偏大，引起波长偏短，则不同 t 下的位置向量可能出现重合的情况。使 PE 能够适应比训练集里面所有句子更长的句子，假设训练集里面最长的句子是有 20 个单词，突然来了一个长度为 21 的句子，则使用公式计算的方法可以计算出第 21 位的 Embedding。直观思考，要想给输入的向量添加位置信息, 最先想到的无疑就是直接使用1 , 2 , 3 , . . . , n 这样的连续数字给输入向量赋予标号来表达向量的顺序。T表示一个线性变换矩阵。
2024-12-29 00:14:44
754
原创 【Transformer】Add & Norm的理解
Add & Norm 层由 Add 和 Norm 两部分组成，其计算公式如下：由图，其中表示 Multi-Head Attention 或者 Feed Forward 的输入，MultiHeadAttention() 和 FeedForward() 表示输出 (输出与输入维度是一样的，所以可以相加)。
2024-12-29 00:10:45
1168
原创 【Attention终于搞懂了】注意力机制/自注意力/多头注意力 构件详解
什么是attention？即QKV 模型，transformer 是采用的这种建模方式。k 是 question，v 是 answer，Memory 中以（k，v）形式存储需要的上下文，q 是新来的 question。假设输入为 q，看看历史 memory 中 q 和哪个 k 更相似，然后依葫芦画瓢，根据相似 k 对应的 v，合成当前 question 的 answer。
2024-12-27 23:11:45
1147
原创 【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（一）
Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）传统微调范式（Traditional Fine-Tuning Paradigm）部分精读
2024-12-27 18:24:48
1221
原创 GLUE（General Language Understanding Evaluation）
GLUE的论文为：GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language UnderstandingGLUE的官网为：https://gluebenchmark.com/GLUE包含九项NLU任务。自然语言处理（NLP）主要包括自然语言理解（NLU）和自然语言生成（NLG）分别是。可以分为三类，分别是和所有任务都是单句或者句子对，除了STS-B是一个任务。
2024-12-25 01:59:03
925
原创 【微调fine-tuning】为什么要修改最后几层神经网络权值
在预训练模型中，前面的层通常是通用特征提取器，学习到了图像的低级特征，例如边缘和纹理。而最后几层则是针对原始任务的特定分类器，学习到了高级特征，例如物体形状和类别。在Fine-tuning时，我们希望保留预训练模型的通用特征提取能力，只修改最后几层的权值，以适应新的任务。由于新的任务可能与预训练任务有所不同，例如类别数量和类别分布的差异，我们需要调整输出层的结构和参数，以适应新的任务需求。同时，冻结部分层的参数可以加快Fine-tuning的速度，并降低过拟合的风险。上述博客中也有具体的微调代码操作步骤。
2024-12-25 01:22:42
155
原创 anaconda 更换 python 版本\创建新环境
原文链接：https://blog.youkuaiyun.com/weixin_39278265/article/details/82982937。
2024-04-22 21:24:18
248
1
原创 【Python】随机密码生成
26个大小写字母和9个数字中随机生成8位密码完整代码：from random import *s="qwertyuiopasdfghjklzxcvbnmQWERTYUIOPASDFGHJKLZXCVBNM123456789"l=''for i in range(8): l+=choice(s)print(l)运行结果：>>> ==== RESTART: C:\Users\LENOVO\Desktop\practice.py ====IfUrwiky
2022-03-25 18:22:06
2169
原创 【Python】英文字符频率统计
忽略大小写以降序形式输出！！！！！！重要的两句！！！！！！：items=list(f.items())##f为字典，字典转列表items.sort(key=lambda x:x[1],reverse=True)###以第二列排序完整代码：s="wopqjfioI'''765456789UGLFFDUUTKMUUGuigqefhowdjioueyrtuwfevsjcabxhniuwqdoefpoqlknbcahjwqdgfuedc"f={}s=s.lower()for i in
2022-03-25 18:10:37
1867
原创 【Python】递归实现斐波那契数列
编写函数，利用递归获取斐波那契数列中的第n个数n=int(input())def F(n): # F(n)=F(n - 1)+F(n - 2),F(0)=0,F(1)=1, n0=0 n1=1 for i in range(n): n0,n1=n1,n0+n1 return n1print(F(n))
2022-03-25 13:26:59
842
原创 【Python】打印200以内所有素数
def prime(): for i in range(1,201): l=0 for j in range(i): if i%(j+1)==0: l+=1 if l==2: print(i,end=' ')prime()结果：================= RESTART: C:\Users\LENOVO\Desktop\practice.py ===.
2022-03-25 13:14:32
3912
2
原创 【Python】实现isPrime()函数判断质数+异常处理
实现isPrime()函数，参数为整数，要有异常处理。如果整数是质数，返回True，否则返回Falsen=input()def isPrime(n): l=[] try: n=eval(n) for i in range(1,n+1): if n%i==0: l.append(i) if len(l)>2: return True el
2022-03-25 13:00:15
7981
2
原创 【Python】将文章变为软文的诗词风
txt='''人生得意须尽欢，莫使金樽空对月。天生我材必有用，千金散尽还复来。'''linewidth = 30 ##预定的输出宽度def lineSplit(line): plist = ['，','！','？','。'] for p in plist: line=line.replace(p,'\n') return line.split('\n')def linePrint(line): global linewidth pr.
2022-03-24 21:33:27
1199
原创 【Python】羊车门问题random方法实现
from random import *yes=0yess=0N=int(input())for i in range(N): c=randint(0,2)###随机车的位置 target=randint(0,2)###开始选择的位置 change=randint(0,1)###随机是否改变，1变 if c==target:###一开始选中了 if change==0: yes+=1 else:###一开始没有选中 .
2022-03-24 21:11:04
836
原创 【计算机二级备考】第一章 程序设计基本方法
>>> ：python交互式语言环境提示符，输入exit() 或 quit() 可以退出IPO程序编写方法： input , output , process练习：1.1 斐波那契数列的计算
2022-03-18 09:13:03
103
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人