- 博客(11)
- 收藏
- 关注
RSS订阅原创 大模型prompt工程部分总结
在LLaMA提出时进行测试中，发现模型规模足够大时，k-shot可以更好的进行模型生成，在相同LLaMA 65b模型下，64-shot表现准确度为39.9，但是0-shot表现准确度只有23.8。1.实际上如今大语言模型会通过RLHF（来自人类反馈的强化学习）进行训练，在面对简单的问题时，已经预训练过的模型已经可以很好完成任务，通过详细指令强调，可以做到零样本提示生成。强调：指令（命令），具体性（详细说明希望执行的任务），避免不明确，避免不要做什么而是强调需要做什么。3.链式思考（CoT）提示。
2025-03-19 13:33:40
244
原创 数据结构：斐波那契堆
不论在执行之前是什么样子，执行后每个节点要求有一个与根链表其他节点均不同的度数，这使得根链表规模最大是。其先将最小子节点每个孩子变为根节点，并删除最小节点，然后通过把具有相同度数的根节点合并的方法来链接成根链表，直到每个度数至多只有一个根在链表中。如果是未被标记的点，因为已经被切掉孩子，那么将会在此时标记。是将根链表进行连接，所以我们可以知道其总次数最多为根链表根的数目。，此指针指向具有最小关键字的树的根节点。将其称为斐波那契堆的最小节点。个节点，减去抽取出的节点，再加上抽取出的节点的孩子节点（至多为。
2025-03-13 00:41:12
988
原创 Docker Introduction：Using Docker Containers to Achieve Multiple Tasks
【代码】Docker Introduction：Using Docker Containers to Achieve Multiple Tasks。
2025-03-11 21:54:33
804
原创 数据结构：图论（建图（邻接矩阵，邻接表，链式向前星），最小生成树与最短路径算法）
则next[1]改为head[4]的数值=0，head[4]改为cnt++=1数值，用于记录点4有边1，to[1]改为第一条边的目的地3。（1）邻接矩阵：对于n个点定义[n+1][n+1]（废弃头部0行0列）矩阵，面对pair{x,y}表示x到y，或者pair{pair{x,y},value}表示x到y且有权重value，则将[x][y]处设置为value大小，其余均设置为0或者infinity。也就是说，我们要找一条通路，通路上后面的节点不允许有路通向前面，只准从前面走到后面，不准从后面走到前面。
2025-03-11 21:18:34
1051
原创 数据结构：散列（Hash列表）
通过上述讨论，我们知道，如果将N项随机放入N个箱子中，那么含球最多的箱子的期望球数位Θ(logN/loglogN )。再散列是指当散列已经较满时，则将散列扩容至两倍，并对其中所有值进行散列计算并放入新的散列中。所以，需要确定一个替换的期望次数，值得指出，需要多于O(logN)次位置替换的可能性很低，所以当高于O(logN)时，即可进行再散列。通用散列指：如果对于任意x≠y，散列函数簇H中使得h(x)=h(y)的散列函数h的个数最多为(|H|)/M，则称散列函数簇H是通用的。
2025-03-03 20:22:06
299
原创 数据结构：红黑树与AA树
由于 AA 树的所有 level 大于 1 的节点都有两个子节点，前驱或后继节点将位于 level 1，删除 level 1 的节点较为简单。删除：（1）若待删除节点 N 既有左子节点又有右子节点，则需找到它的前驱或后继节点进行替换，则后续操作中只需要将后继节点删除即可。（1）如右图，此时N为删除节点（已替换），注意到右侧的黑比左侧要深，所以需要想办法在左侧加入一个黑色。（4）兄弟节点是黑色，且与 N 同向的侄节点 C为红色，与 N 反向的侄节点 D为黑色，父节点既可为红色又可为黑色。
2025-03-01 22:43:10
633
原创 数据结构：AVL树与伸展树
核心思想：AVL Tree中每个节点都会有一个值，为depth(left)-depth(right)，理想状态下为了维持平衡，这个值应当为-1，0，1。实际上LR旋转可以先通过RR(root->left)转化为LL形式，而后通过LL(root)旋转即可。如图，当插入2后，6的值为2（左深3右深1），所以要对6进行LL旋转。，也就是说伸展树可以保证整体的平均访问速度，但是不确保个体的访问速度。此时对G来说，导致它更深的是LR（左枝的右枝），所以要进行LR旋转。对称的，我们可以得到RL的旋转方法。
2025-03-01 22:41:35
585
原创 数据结构：排序算法
（1）左右指针，定义left=begin,right=end.将left放入temp(分治点),则left点为空，right从end开始向左寻找直到找到一个小于temp的，将其放入left的空中，此时right为空，则left开始向右寻找直到找到比temp大的为止，将其放入right的空中，循环到left==right即全部区分完毕后temp放入剩下的空中。其每次会相隔x个进行分组，在分组内进行排序，随后对x/2进行分组，重新排序，一直除2排序直到x为1为止。堆排序是基于使用最优化队列所形成的排序。
2025-02-27 16:18:55
850
原创 Pytorch搭建最基础的多层感知机（附反向传播介绍）&神经元数量的选择
这些都是老朋友了，epoch表示学习的轮数，learning_rate表示学习率（咱的上一篇文章怼此有详细介绍），batch_size表示每轮梯度下降的批次数量，eps则是在计算交叉熵时防止分母为0或者无穷所设置的。mlp则是我们定义的类，从前面的定义可知，layer_size表示每层神经元的数量，并且使用sigmoid作为最终输出的激活函数。随后，以下步骤一定不要搞混：我们先要把opt中的梯度归零，然后反向传播，最后将反向传播的返回的新更新进行更新。这是神经元为：2，5，6，7，5，1时的结果。
2024-11-20 17:22:40
604
原创 梯度下降法常见学习率的选择
既然大量的存储以前的梯度会造成无法下降，那我们为什么不直接去除大部分的梯度，只保留一点梯度，这样你才知道这是改进后的梯度下降呢？就文章的实验结果来说，此方法在准确率等并未有较明显提升，而在学习速度上有较小的提升（并未过大）。核心在于：既然振荡原因是学习率过大，那我们走的步数越多学习率越小，就算一开始振荡，走久了也就荡不起来，慢慢的也会回到局部最小值。对于较简单的二维矩阵（即两个label）可能较好应付，但是面对大量label，高维度的矩阵，计算将会是极为困难，甚至难以实现。由此，梯度下降方法孕育而生。
2024-11-05 23:17:24
1025
原创 KNN算法原理及其实现
在此，我们便完成了knn的主体工作。如图，内圈为K=3时，外圈为K=5时。故KNN算法的基本思路在于使样本的分类分布服从邻居的多数。的样本的标签y，进而判断所需预测的x的标签y。KNN算法则是在于通过确定需要预测的x机器临近的已分类的。本文是作者在学习张伟楠，赵寒烨，俞勇所著书籍《动手学机器学习》的学习过程记录。如此，我们完成了knn算法最重要的一部分：确定距离。拥有了class后，我们需要对class中保存训练数据，并进一步的计算距离。随后，我们可以定义KNN的一个class。的标签来判断x的标签。
2024-10-22 16:45:18
374
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人