- 博客(47)
- 收藏
- 关注
RSS订阅原创 Llama 2 模型
序列化：将文本进行Tokenization，将其切分成单词或字符，形成Token序列。之后将文本序列转换为索引序列(语料库中的index) ---- sentencepiece （开源的文本Tokenzier工具）中，超过两个类标签则需要类成员关系。对于长度为K的任意实向量，Softmax函数可以将其压缩为长度为K，值在[0,1]范围内，并且向量中元素的总和为1的实向量。maybe->当前Q会和之前KV进行计算，计算结束后就不会再使用了。batch_size：批量大小，每次处理的样本数。
2024-03-22 17:32:14
715
原创 RA-DIT: RETRIEVAL-AUGMENTED DUAL INSTRUCTION TUNING
现有方法：1.对于语言模型预训练进行昂贵的特定检索修改2.使用了对数据存储器的事后集成，从而导致了次优的性能改进： RA-DIT：检测增强双指令调优对任意LLM加入检索功能两个微调步骤：1.更新预训练语言模型，更好地利用检索信息2.更新检索器，返回更相关的信息。
2024-03-22 15:54:16
813
原创 RAFT: Adapting Language Model to Domain Specific RAG
RAFT在训练阶段加入该领域的doc进行ft，生成阶段LLM与一个检索器配对，该检索器可检索到‘k’文档（或文档的特定片段）并附加到提示符prompt中。训练数据每个数据点包含一个问题(Q)，一组文档（Dk）和从其中一个文档（D∗）生成相应的思维链风格答案（A∗）---->Q、Dk、A*文档分为两类：1. oracle(D*)可推断出问题答案的文档（可以为多个）2.Di干扰文档对于数据集：p%的数据 ---> 保存oracle文档和k-1个干扰文档(1-p%)的数据--->仅包含干扰文档。
2024-03-20 23:57:30
1717
1
原创 多分类问题-Softmax Classifier分类器
crossentropyloss()函数 CrossEntropyLoss <==> LogSoftmax + NLLLoss。也就是说使用CrossEntropyLoss最后一层(线性层)是不需要做其他变化的；使用NLLLoss之前，需要对最后一层(线性层)先进行SoftMax处理，再进行log操作。概率分布：属于每一个类别的概率总和为0，且都>=0，n组类别需要n-1个参数就能算出结果。寻找最大值torch.max，dim=1按行寻找；momentum冲量值设成0.5。均值和标准差（固定的）
2023-07-29 14:46:08
291
原创 加载数据集--准备数据集mini-batch
4.init有两种选择：a.把所有数据都加载到内存里面,用getitem把每一个[i]传出去（用于数据集本身不大）；b.放入pack文件里面，定义一个列表把每一个数据集文件放到相应列表or标签中用getitem读取i列表j文件元素（数据集本身很大）BGD和SGD二者的折中法，对于m个样本，选取x个子样本进行迭代，且1
2023-07-25 18:52:54
294
原创 处理多维特征的输入
数据的每一列称为：特征/字段x的数据变为8列，维数=8 x_data;y_data：创建两个Tensor激活函数： 代码更改部分：
2023-07-25 17:46:04
574
原创 灰色关联分析
基本思想：根据序列曲线几何形状的相似程度来判断关联是否紧密，曲线越接近，相应序列之间的关联度越大。对样本多少和样本有无规律都同样适用，且计算量小。n大时用标准回归分析，n小用灰色关联。系统分析：分析变量xi对y影响大小。4.计算每个子序列与母序列关联。3.预处理：每个元素÷均值。6.通过对比关联度说明结论。
2023-07-17 20:22:29
262
原创 深度学习之反向传播
（在pytorch包中）Tensor数据成员：data（存放数据w，也是Tensor变量，但是取data不会构建计算图）和grad（存放梯度loss对w的导，调用bacward之后grad也是个Tensor，每次引用结束要zero）backward会释放计算图，每一次运行神经网络时计算图可能是不同的，所以没进行一次反向传播就释放计算图。
2023-07-14 10:20:48
493
原创 梯度下降算法
因为已知三组数据，range100次，且随机梯度下降算法每个样本更新一次，所以，一共w会更新300次，但是原梯度下降算法cost仅将三组算得梯度求均值再进行range100，所以一共进行100次。可以理解为：如果斜率为正，往下走就是减；斜率为负，往上走就是加。用贪心算法求阶局部最优解，即w对应的MSE达到最小。更新：随机梯度下降算法。对每一个样本进行更新。
2023-07-10 16:54:12
242
原创 有关git
来自狂神说一.常用的Linux命令1）、cd : 改变目录。2）、cd . . 回退到上一个目录，直接cd进入默认目录3）、pwd : 显示当前所在的目录路径。4）、ls(ll): 都是列出当前目录中的所有文件，只不过ll(两个ll)列出的内容更为详细。5）、touch : 新建一个文件 如 touch index.js 就会在当前目录下新建一个index.js文件。6）、rm: 删除一个文件, rm index.js 就会把index.js文件删除。7）、mkdir:
2022-09-04 11:47:00
181
原创 栈和队列a
一.栈1.定义(top指向最后一个元素的角标)#define Max 100Typedef struct stack{SElemType data[Max] //或*data;int top;int stackSize;}sqStack;2.初始化int InitSqStack(sqStack *LS,int max){LS->data=(SElemType*)malloc(max*(SElemType));if(LS->data==NULL) {
2022-04-23 09:44:29
214
原创 线性表ya
一.顺序表二.单链表1.定义typedef struct node{ElemType data;strcut node *next;}Node,*LinkList;2.初始化int InitLinkList(LinkList *L){(*L)=(LinkList)malloc(sizeof(Node));if((*L)==NULL) return 0;(*L)->next=NULL;return 1;}3.插入(易错j<i-1,找到第i-1的位置)
2022-04-16 21:48:48
577
原创 CSS学习
1.简介CSS - 层叠样式表 - 网页实际上是一个多层的结构，通过CSS可以分别为网页的每一个层来设置样式 而最终我们能看到只是网页的最上边一层 - 总之一句话，CSS用来设置网页中元素的样式 使用CSS来修改元素的样式：1.(内联样式，行内样式)： - 在标签内部通过style属性来设置元素的样式 - 问题： ...
2022-03-06 10:15:13
366
原创 主成分分析
降维算法，它能将多个指标转换为少数几 个主成分，这些主成分是原始变量的线性组合，且彼此之间 互不相关，其能反映出原始数据的大部分信息。一般来说， 当研究的问题涉及到多变量且变量之间存在很强的相关性时， 我们可考虑使用主成分分析的方法来对数据进行简化。目录PCA计算步骤写入论文主成分缺点主成分分析可以解决多重共线性问题 解决多重共线性问题方案：在stata中回归结果对主成分分析看法PCA计算步骤（2）中可以降成2、3维之后进行画图分...
2022-02-11 18:07:42
776
原创 预测模型a
目录灰色系统预测灰色预测：要求样本数>=自变量+1预测题目的小套路代码思路GM(1,1)模型的拓展BP神经网络预测——万金油原理步骤结果分析保存结果保存之后预测灰色系统预测灰色预测：要求样本数>=自变量+1预测题目的小套路代码思路GM(1,1)模型的拓展BP神经网络预测——万金油原理步骤莱文贝格－马夸特方法，量化共轭梯度法：速度快但无法解决过拟合问题，可以使用已知...
2022-02-11 16:37:18
763
原创 聚类模型a
聚类和分类的区别：分类是已知类别的，聚类未知。目录1.算法流程图（避免查重）2.评价K-means++算法1.概念2.SPSS操作3.关于k-mean算法的一些讨论，一般不同模型要使用对应的标准化公式去消除量纲的影响系统聚类法（一般最常用）1.流程图2.分类准则3.样品与样品间的距离4.指标与指标间的常用距离5.类与类之间的距离6.SPSS操作7.聚类谱系图（树状图）8.用图形估计聚类的数量：肘部法则DBSCAN算法1..
2022-02-10 16:56:39
568
原创 分类模型（将回归模型的输出离散化）
二分类模型逻辑回归(logistic regression)1.若有定性变量，先预处理成虚拟变量用spss2.y为二值变量用逻辑回归1）线性概率模型（出现不现实的情况）2） 两点分布(伯努利分布)基本思路：连续函数取法（一般使用logistic回归，模型简单）求解:用极大值估计->B^->y^->判断与0.5大小若线性用最小二乘法非线性用极大值法结果分类（与0.5对比）没有考虑交互项求解步骤：spss结果一般看块...
2022-02-10 11:40:57
947
原创 蒙特卡罗（统计模拟）
1.三门问题2.模拟排队问题3.有约束的非线性规划问题4.书店选择问题（0-1规划问题）5.导弹追踪问题（物理问题的模拟）6.旅行商问题
2022-02-09 18:02:26
210
原创 多元线性回归
常见的回归分析有五类：线性回归、0‐1回归、定序回归、计数回归 和生存回归。这就是回归分析要完成的三个使命：第一、识别重要变量；第二、判断相关性的方向；第三、要估计权重（回归系数）多种数据类型处理方法宏观数据：知乎上搜“数据查找”微观数据：在人大经济论坛搜索 https://bbs.pinggu.org一元线性回归使用线性回归模型前，先进行预处理excel预处理：直接=要处理的数据和指令回归系数解释内生性，外生性核心变量，控...
2022-02-08 22:29:43
3022
原创 图论最短路径问题迪杰斯特拉算法（plot函数功能补充）
目录1.Matlab作无向图（1）无权重（每条边的权重默认为1）函数graph(s,t)补：设置线粗，坐标的隐藏（2）有权重函数graph(s,t,w)2.Matlab作有向图（1）无权图 digraph(s,t)（2）有权图digraph(s,t,w)1.Matlab作无向图（1）无权重（每条边的权重默认为1）函数graph(s,t)可在 s 和 t 中的对应节点之间创建边，并生成一个图s 和t 都必须具有相同的元素数；这些节点必须都是从1开始的正整数，或都是字.
2022-02-07 16:44:11
653
原创 matlab基本知识
1.[a,b]=sort(x),x为列向量，a为排序后的向量，b为此时向量在原来向量中的位置例：此程序RX表示x的等级[~ ,index] = sort(X); [~ ,RX] = sort(index); ~代表 不显示第一个输出值2.x=[1 2 3 4]'表示转置即x=12343.rx(position == 1) = 4.5 ： 对rx中与position == 1对应位置的元素进行赋值操作position是个元素只有1 0的矩阵...
2022-02-07 14:49:38
1325
原创 相关系数（用来衡量两变量间相关关系的大小）
1.皮尔逊Pearson相关系数1）总体2）样本3）易错4）所以先画散点图（用spss）再观察是否有线性关系，有的话用皮尔逊，否则不能用这里使用Spss比较方便: 图形 - 旧对话框 - 散点图/点图 - 矩阵散点图5）判断相关性大小R = corrcoef(Test) % correlation coefficient6 )描述性统计用SPSS和excel都可以方法：excel：数据分析->描述统计->汇总统计...
2022-02-06 22:50:58
36821
原创 拟合（用于预测）
目录1.插值与拟合区别：2.最小二乘法3.评论拟合的好坏4.拟合工具箱cftool5.自己模拟数据进行演示1.插值与拟合区别：插值，要求每个数据都在f(x)上拟合，保证误差足够小，是得到一个确定的曲线2.最小二乘法y=kx+bclear;clcload data1plot(x,y,'o')% 给x和y轴加上标签xlabel('x的值')ylabel('y的值')n = size(x,1);k = (n*sum(x.*y)-sum(x)*su.
2022-02-06 18:44:18
6130
原创 插值算法（用于预测）
1.分段三次埃尔米特插值函数pchip（x,y,newx）% 分段三次埃尔米特插值x = -pi:pi; y = sin(x); new_x = -pi:0.1:pi;p = pchip(x,y,new_x);figure(1); % 在同一个脚本文件里面，要想画多个图，需要给每个图编号，否则只会显示最后一个图哦~plot(x, y, 'o', new_x, p, 'r-')2.三次样条插值函数spline（x,y,newx）% 三次样条插值和分段三次埃尔米特插值的对比x
2022-02-06 10:09:22
3157
原创 用excel绘制统计图
1.饼图2.柱形图：柱状图常常用于展示多个分类（单个分类也可以）的数据变化和同类别各变量之间的比较情况。堆积柱状图可用于比较同类别各变量和不同类别变量总 和差异；百分比堆积柱状图适合展示同类别的每个变量的比例。堆积柱状图：堆积柱状图: 比较同类别各变量和不同类别变量总和差异。百分比堆积柱状图: 适合展示同类别的每个变量的比例。切换行和列：（选中图后，点击右键，点击选择数据，进入后点击切换行和列）条形图（横过来的柱形图）：优势类别数过多时，如果要加入数据标签，那
2022-02-04 17:14:45
4481
原创 TOPSIS代码部分
第一步：把数据复制到工作区，并将这个矩阵命名为X（1）在工作区右键，点击新建（Ctrl+N)，输入变量名称为X（2）在Excel中复制数据，再回到Excel中右键，点击粘贴Excel数据（Ctrl+Shift+V）（3）关掉这个窗口，点击X变量，右键另存为，保存为mat文件（下次就不用复制粘贴了，只需使用load命令即可加载数据）（4）注意，代码和数据要放在同一个目录下哦，且Matlab的当前文件夹也要是这个目录。clear;clcload data_water_quality.mat
2022-01-30 20:42:01
686
1
原创 TOPSIS法
目录指标正向化（将所有指标转化为极大型）标准化处理归一化得分带权重的TOPSIS指标正向化（将所有指标转化为极大型）1.成绩是越高（大）越好，这样的指标称为极大型指标（效益型指标）。 2.与他人争吵的次数越少（越小）越好，这样的指标称为极小型指标（成本型指标）极小型指标转换为极大型指标的公式：max-x也可以用1/x3.中间型指标：越接近某个值越好4.区间型指标 落在某个区间最好标准化处理为了消去不同指标量纲的影响， ...
2022-01-27 23:56:41
1055
原创 层次分析法
评价类问题目录权重表满意度/重要程度一致性检验一致矩阵求权重判断矩阵求权重展示部分权重表同颜色的单元格的和为1，它们表示的针对某一因素所占的权重(或得分)。满意度/重要程度一致性检验判断矩阵：正互反矩阵（aji*aij=1）一致矩阵：各行各列成比例一致矩阵求权重判断矩阵求权重1.算数平均法2.几何平均法3.特征值法展示部分第一部分第二部分第三部分...
2022-01-26 20:44:26
345
原创 C语言题库a
第一章1.已知某个圆的半径为5，编写一个程序，用来计算并显示面积。将π定义为符号常量，值是3.14#include <stdio.h> #define PI 3.14 int main(){ int r=5; float m; m=PI*r*r; printf("圆的面积为%.2f\n",m); return 0;}2.编写一个C程序，输出以下信息：（提示: 第一行和最后一行各有20个*）********************Very Go
2021-12-24 18:06:56
2907
原创 选择结构题库a
1.从键盘上输入直角坐标系上一个点的坐标（x,y）,编程实现判断该点属于第几象限。请注意在x坐标轴上、y坐标轴上和原点上的数据。#include <stdio.h> int main(){ float x,y; scanf("%f%f",&x,&y); if(x==0&&y==0) printf("(%.2f,%.2f)在原点上",x,y); else if(x==0) printf("(%.2f,%.2f)在y坐
2021-12-23 19:52:29
2150
原创 循环结构题库a
1.编写程序利用公式：ex=1+x+x2/2!+x3/3!+......+xn/n!求的近似值。找出并改正以下源程序中错误，得出正确的运行结果。源程序如下：#include <stdio.h>#include <math.h>void main(){ int i; float a,e,x; printf("请输入x的值："); scanf("%d",&x); e=0; i=0; a=...
2021-12-22 22:43:24
4569
原创 数据类型与表达式题库a
1.请编写程序: 有36 块砖，36 人搬。男人搬4块，女人搬3块，两个小孩抬一砖。要求一次全搬完。问需男人、女人、小孩各若干？（穷举法）。#include <stdio.h> int main(){ int w,m,c; for(w=1;w<10;w++) for(m=1;m<13;m++) { c=36-w-m; if(8*m+6*w+c==72) printf("需要%d个男人,%d个女人,%d个小孩",m,w,c); }
2021-12-22 21:41:38
271
原创 指针题库a
1.请用指针实现程序：n个人围成一圈，顺序排号。从第1个人开始报数(从1到3报数)，凡报到3的人退出圈子，问最后留下来的是原来的第几号的那位。#include<stdio.h>int main(){ int i,n,a[100],count,* p,out; scanf("%d",&n); for(i=0;i<n;i++) a[i]=i+1; //从1到n给每个人编号 i=0; count=0;
2021-12-15 19:38:17
1078
空空如也
速来速来看下有关java知识点的提问~
2022-12-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人