weixin_43336108的博客

原创 大模型chagpt原理（持续更新）

根据李宏毅课程可知，大模型chatgpt基本原理分为三步（每一步都是在做文字接龙，但训练资料不同）对资料进行去重，劣质优质划分，过滤等操作，将资料划分为一笔笔训练样本基于模型生成的几个答案进行打分，若打分较高，则微调模型参数，使得模型生成打分高的答案概率较高

原创 openAI官方prompt技巧（二）

分子，想象一下，它是一个令人惊叹的小小构造块——如此微小，以至于肉眼不可见！我迫不及待地想用它们来定制我的 GPT，并与特定用户共享！为 ChatGPT 指定一个角色，让其从特定的身份或视角回答问题。你是一名数据分析师，负责我们的市场营销团队。请总结上个季度的营销活动表现，并强调与未来活动规划相关的关键指标。我们将安排会议在下周五，并审核你对项目计划的更新。请邀请产品团队的联系人，并准备好分享下一步计划。步骤 3 - 根据建议的修改重写文本。你将收到一段用三重引号包围的文本。总结以下文本的主题和情绪。

原创 openAI官方prompt技巧（一）

【代码】openAI官方prompt技巧（一）

原创 Leetcode（循环排序习题思路总结，持续更新。。。）

【代码】Leetcode（循环排序习题思路总结，持续更新。。。

原创 Leetcode（区间合并习题思路总结，持续更新。。。）

【代码】Leetcode（区间合并习题思路总结，持续更新。。。

原创 算法开发流程（二、算法开发以及测试）

原创 Leetcode（快慢指针习题思路总结，持续更新。。。）

这种算法的两个指针的在数组上（或是链表上，序列上）的移动速度不一样。快的一个指针肯定会追上慢的一个（可以想象成跑道上面跑得快的人套圈跑得慢的人）

原创 Leetcode（双指针习题思路总结，持续更新。。。）

我们需要双指针的原因是：如果你只用一个指针的话，你得来回跑才能在数组中找到你需要的答案。这一个指针来来回回的过程就很耗时和浪费空间了。），直到他们有一个或是两个都满足某种条件。双指针通常用在排好序的数组或是链表中。双指针是这样的模式：两个指针朝着左右方向移动（双指针分为同向双指针和。

原创 Leetcode（滑动窗口习题思路总结，持续更新。。。）

我们维护一个可变的窗口，这个窗口的左右边界分别用指针 start 和 end 表示。就是首先遍历窗口从1到len(nums)，然后再遍历该窗口长度下的所有数组，计算和，因为窗口长度从小遍历，所以只要出现和 >= target 就结束计算，时间复杂度是N2。：我们需要记录 T 中字符的频率，并在窗口中保持一个字典来统计窗口内的字符频率。停止增加 right，转而不断增加 left 指针缩小窗口 [left, right]，直到窗口中的字符串不再符合要求。

原创 ubuntu服务器离线安装pytorch（cpu版本）

注意torch版本和python版本对应。（因为无nvidia显卡）

原创 ubuntu系统服务器离线安装python包

查看服务器属于x_86架构还是arm架构、cpython还是pypy。

原创 机器学习算法（二）线性模型

假设预测为正例（ y == 1） 的概率为 p，则预测为负例（ 1 - y == 0） 的概率为 1 - p，有n个样本。线性回归得到的是一个实数值 z ，用sigmoid函数可以将其映射到 0 - 1 之间，即p =假设自变量X矩阵有3个特征，因变量是Y矩阵，w是系数矩阵。：误差平方和函数（Y - label）** 2。

原创 深度学习算法bert

现在来了一个新任务，并有一个新模型，我们使用已经训练过的模型(预训练的模型) m 的参数来初始化新的模型，而不是使用随机参数来初始化新模型。判断是否下一句（预测CLS）），但接下来可以做其他任务，又叫微调（，不同的bert在encoder层数、注意力头数、隐藏单元数不同。bert 属于自监督学习的一种（输入x的部分作为label）2. 假设我们有一个模型 m ，首先我们为某种任务使用。3. bert（预训练做两个任务，一是。4. 输入到bert模型之前需要。（预测被屏蔽掉的词）二是。

原创 算法开发流程（一、算法调研）

原创 深度学习算法informer（时序预测）（八）（超参定义）

【代码】深度学习算法informer（时序预测）（八）（超参定义）

原创 深度学习算法informer（时序预测）（七）（模型训练、验证、测试）

模型训练、验证、测试。

原创 深度学习算法informer（时序预测）（六）（数据处理、自注意力、自适应调节学习率、早停法）

在每个epoch结束时，根据当前的epoch和设定的调整策略，更新优化器的学习率。目的是在验证损失不再显著改善时提前停止训练，从而防止过拟合。它会在每个epoch结束后调用，检查当前的验证损失是否改善。，特征值只有温度，解码器的输入与编码器的输入不同，将。编码器的输入倒数12个时间点。编码器最后12个时间点。

原创 深度学习算法informer（时序预测）（五）（informer整体模型）

informer整体架构

原创 深度学习算法informer（时序预测）（四）（Decoder）

【代码】深度学习算法informer（时序预测）（四）（Decoder）

原创 深度学习算法informer（时序预测）（三）（Encoder）

informer的encoder

原创 深度学习算法informer（时序预测）（二）（ProbSparse讲解）

informer概率注意力机制

原创 深度学习算法informer（时序预测）（一）（数据编码讲解）

informer时序数据编码

原创 深度学习算法transformer（开源哈佛代码注释版）

transformer哈佛代码解析

原创 深度学习算法transformer中的核心multihead_attention代码

【代码】深度学习算法transformer中的核心multihead_attention代码。

原创 深度学习算法transformer（时序预测）模型优化（二）

【代码】深度学习算法transformer（时序预测）模型优化（二）

原创 深度学习算法transformer（时序预测）

【代码】深度学习算法transformer（时序预测）

原创 一文配置python、pytorch、cuda、cudnn环境

不同的cuda版本对应不同的pytorch，我这里安装的是cuda11.8。python和pytorch版本对应。

原创 深度学习算法LSTM

【代码】深度学习算法LSTM。

原创 ubuntu 搭建 gitlab最全教程

浏览器输入服务器 ip:端口号，进入登陆界面，输入用户名 root 以及刚才复制的密码，进入 gitlab，创建user。当前我的系统是ubuntu18，对应codename是bionic，因此下载对应gitlab，下载网址是。cd到你想安装的位置，mkdir 文件夹名字，sudo su切换成root身份。不同版本的ubuntu需要匹配不同版本的gitlab。七、获取 root 用户初始密码，复制密码。修改配置，初始化配置文件，重启gitlab。二、根据版本信息下载对应的gitlab。

原创 一文读懂python自带的时间处理和pandas的时间处理

python pandas

原创 numpy基础（三）（花哨索引、排序和其索引、第k最小值和其索引）

一、花哨索引二、排序和其索引三、第k最小值和其索引

原创 numpy基础（二）（常用函数、循环和向量化、布尔和掩码）

结论：循环所需时间大于向量化操作时间。

原创 numpy基础（一）（生成、拼接、切割数组）

原创 pandas基础（四）（分组groupby、透视表pivot_table）

应用包括agg、transform、filter、apply。原则：分组-应用-组合。

原创 pandas基础（三）（合并数据集concat、append、merge、join）

on：用于连接的列索引名称，必须同时存在于左、右两个DataFrame中，默认是以两个DataFrame列名的交集作为连接键，若要实现多键连接，‘on’参数后传入多键列表即可。suffixes：字符串值组成的元组，用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称，默认为(’_x’, ‘_y’)right_index：使用右侧DataFrame中的行索引作为连接键。right_on：右侧DataFrame中用于连接键的列名。left_on：左侧DataFrame中用于连接键的列名。

原创 pandas基础（二）（筛选、删除、填充空值）

空值所在行列空值所在行

原创 pandas基础（一）（生成Series、DataFrame和Series、DataFrame数据选择）

一、生成Series、Series数据选择二、生成DataFrame、DataFrame数据选择

原创 机器学习算法（一）模型评估

划分训练集与测试集（训练集约占2/3~4/5） （1）保证训练集测试集类别比例相似；：（1）划分数据集为k个子集，每次训练k-1个子集，测试剩下的子集 （极端情况是留一法）（2）p次划分，重复实验取平均值。训练误差小，测试误差（泛化误差的近似，即在新样本上的误差）小。ROC面积是AUC，越接近于（0，1），模型越好。

原创 一文读懂统计功效，样本量计算

设从均值u，方差s的任意总体中抽取样本量为n的样本，当n非常大时，样本均值服从于均值u，方差s/n的正态分布。：1 - 纳伪错误，即原假设是错误的，拒绝错误假设的概率。

原创 一文读懂假设检验

2010年平均离婚率为30%，标准差为0.2，现从2012年夫妻中抽取100个样本，测得其平均离婚率为35%，假设平均离婚率服从正态分布，显著性水平为0.05，问这两年平均离婚率有无显著差异？3. 计算假设成立的前提下出现当前样本统计量的概率。计算假设成立的前提下出现当前样本统计量的概率。假设1：2012年平均离婚率!假设0：2012年平均离婚率 = 30%：原假设正确却拒绝的概率。：原假设错误却接受的概率。：显著性水平围成的区域。：犯弃真错误的概率。