自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 GPT-2

摘要:GPT-2是对GPT-1的扩展升级,旨在通过增大模型规模(1.5B参数)和使用更大规模数据集WebText(数百万网页)来提升性能。其核心创新是zero-shot设定,即在下游任务中无需标注数据,仅通过自然语言提示(prompt engineering)实现多任务处理。相比BERT等模型,GPT-2展现了良好的泛化能力,在多项任务中取得有竞争力的结果。研究团队特别优化了训练数据质量,通过Reddit筛选出高质量文本(8百万文档),避免了低信噪比数据的影响。该工作为NLP领域提供了新的模型优化思路。

2026-01-13 09:53:42 279

原创 GPT-1

本文提出了一种半监督学习方法,通过预训练语言模型和微调策略有效利用大规模无标注文本。模型基于Transformer架构,先在无标注语料上通过标准语言建模目标进行预训练(仅使用解码器部分)。然后在有标注任务上进行微调,采用任务相关的输入变换策略(如添加特殊标记、调整输入顺序等),避免修改模型结构。实验在BooksCorpus数据集上进行,使用12层解码器结构的Transformer(768维状态和12个注意力头)。该方法通过联合优化预训练和微调目标函数,实现了对分类、蕴含、相似性判断和多选题等多种NLP任务的

2026-01-13 09:52:45 325

原创 奇异值分解(SVD(Singular Value Decomposition))

奇异值分解(SVD)将任意矩阵分解为"旋转+拉伸+旋转"的形式,揭示数据主结构与低秩近似。核心思想是将矩阵A分解为A=UΣV^T,其中U、V是正交矩阵(表示旋转),Σ是对角矩阵(表示拉伸)。推导表明:V由A^TA的特征向量构成,U由AA^T的特征向量构成,奇异值是特征值的平方根。SVD本质解决了Rayleigh商问题,即找到使‖Ax‖最大的单位向量x,这正是A^TA最大特征值对应的特征向量。对称矩阵的谱定理保证了特征向量的正交性,使SVD能有效捕捉矩阵的主成分。

2026-01-12 23:02:16 611 6

原创 特殊矩阵的压缩存储

B[k]是第k+1个元素,而前(i - 1)行有3 * (j - 1) - 1个元素,前i行有3 * i - 1个元素,访问上三角区域:k = j * (j - 1) / 2 + i - 1 i <= j (aij = aji)行优先存储:a[i] [j] = LOC + (i * N + j) * sizeof(ElemType)按照行优先原则:访问下三角区域:k = i * (i - 1) / 2 + j - 1 i >= j。起始地址:LOC = a[0] [0]

2024-04-20 20:25:27 532

原创 王道考研数据结构笔记---串

串,即字符串(String) 是由零个或多个字符组成的有序序列,一般记为S = ‘a1a2a3.....an' (n >= 0)其中,S是串名,单引号括起来的字符序列是串的值,ai可以是字母、数字或其他字符;串中字符的个数n称为串的长度。n = 0 时的串称为空串。字串:串中任意个连续的字符组成的子序列。主串:包含字串的串字符在主串中的位置:字符在串中序号。是从’1‘开始的。注:没有特殊注明,指的是第一次出现的位置。字串在主串中的位置:字串的第一个字符在主串中的位置。

2024-04-20 20:20:08 917

原创 栈和队列的应用---接上篇博客

若扫描到运算符或界限符,则按照“中缀转后缀”相同的逻辑压入运算符栈(期间也会弹出运算符,每当弹出一个运算符时,就需 要再弹出两个操作数栈的栈顶元素并执行相应运算,运算结果再压回操作数栈)3)若扫描到运算符,则弹出两个栈顶元素,执行相应运算,运算结果压入栈顶,回到1)注意:先出栈的为 左操作数,后出栈的为右操作数。3)若扫描到运算符,则弹出两个栈顶元素,执行相应运算,运算结果压入栈顶,回到1)注意:先出栈的 为右操作数,后出栈的为左操作数。2)若扫描的是操作数则入栈,并返回1),否则执行3)

2024-04-19 15:23:06 1541

原创 王道考研---栈和队列笔记

队列是只允许在一端进行插入(入队),在另一端删除(出队)的线性表。

2024-04-18 11:13:25 360 1

原创 微信小程序实现地图选址

本文介绍了在微信小程序中实现地图选址功能的准备工作。以腾讯地图为例,首先提到了注册腾讯地图开发者账号和创建应用并获取API密钥。接着,建议阅读腾讯地图API文档,了解相关的接口和参数。在小程序配置方面,需要添加地图权限配置。然后,作者提到引入腾讯地图SDK或第三方地图组件,并在小程序页面中实现地图选址功能,包括显示地图、获取用户定位信息、搜索地点等。最后,作者给出了具体的小程序代码示例。

2023-08-02 10:38:46 2828 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除