- 博客(17)
- 收藏
- 关注
RSS订阅原创 算法导论第三版代码python实现与部分习题答案-第四章：分治策略(二)
使用递归树方法和主方法对递归函数的复杂度进行分析，并对一些需要的数学公式进行复习：级数、幂函数
2025-07-28 15:48:48
410
原创 python类与对象强化笔记
本文章补充了在类与对象方面的一些高级技巧，主要目的是提升程序的运行速度，增强代码的可读性等等。描述了诸如装饰器、命名规范、重整机制等进阶内容。主要内容来自《pythoncookbook》
2025-06-12 17:54:18
293
原创 python函数强化笔记
一些关于python函数部分的高级内容和"奇技淫巧"，来自《python cookbook》，并添加了详细注释，主要包括：函数参数、函数返回值、闭包、额外状态输入、匿名函数等应用
2025-06-11 16:01:13
302
原创 (更新中)(手撕LLaMA-小白友好的论文解读)LLaMA：开放且高效的基础语言模型
我们推出LLaMA，一系列参数规模从7B到65B不等的基础语言模型。我们在数万亿tokens上训练这些模型，并证明可以完全使用公开可获取的数据集训练最先进的模型，而无需依赖专有和不可访问的数据集。特别是，LLaMA-13B在大多数基准测试中超过了GPT-3（175B），而LLaMA-65B则与最佳模型Chinchilla-70B和PaLM-540B相比具有竞争力。我们向研究社区发布我们的所有模型¹。NOTE]就是用开源数据练了一个很厉害的大模型。
2025-04-22 16:15:52
626
原创 (带个人笔记)BERT: 用于语言理解的深度双向Transformer预训练模型
目的：通过随机掩盖词元，训练深度双向表示，捕获上下文的双向信息。训练过程随机选择 15% 的词元进行掩盖。只预测被掩盖的词元，而非重构整个输入。掩盖策略：80% 用[MASK]替换。10% 用随机词元替换。10% 保持不变。损失函数：使用交叉熵损失预测原始词元。优点与问题优点：实现双向预训练。问题：微调时不存在[MASK]，导致预训练与微调不匹配。解决方案：采用混合掩盖策略（部分随机替换或保持不变）。与去噪自编码器的区别：只预测被掩盖词元，而非重构整个输入。
2025-04-19 15:58:52
2001
原创 基于 Transformer 的机器翻译模型(手撕Transformer)
位置编码（Positional Encoding）的核心思想是为序列中的每个位置创建唯一的向量表示，使Transformer模型能够感知元素的相对或绝对位置。嵌入层将Transformer模型的符号输入转换为连续向量空间中的表示，为后续的位置编码层和自注意力机制层提供了基础的特征表示。：正弦和余弦函数有一个重要性质 —— 任意位置的编码可以表示为其他位置编码的线性函数。：正弦和余弦函数的周期性使得编码可以扩展到未见过的序列长度。：不同位置的编码是唯一的，避免了位置冲突。，计算位置索引为0、1、2的编码。
2025-04-16 11:38:36
651
原创 LangChain简明使用笔记（3）记忆
大模型的上下文有限，过多的西南西会导致幻觉。修剪器帮助器允许指定我们想要从聊天历史记录中保留或删除多少令牌。修改聊天记录可以使历史记录处于最佳状态，提升模型的响应准确。消息过滤器可以按照类型、、ID或名称过滤聊天历史消息。
2025-04-06 11:44:37
117
原创 FastAPI教程(一)
FastAPI是一个很优秀的框架，我准备将其用于AI应用的接口封装，我觉得这是目前中小企业应用的趋势。保持基础的前后端，但是将一些数据处理交给AI
2025-03-31 11:42:29
541
原创 LangChain简明使用笔记（2）RAG系统构建
摄取就是将文档转换为计算机可以理解和分析的数字，并将其存储在特殊类型的数据库中以便有效检索的过程。这些数字在形式上被称为嵌入，这种特殊类型的数据库被称为向量存储。提取文本分块嵌入向量存储。
2025-03-27 14:26:55
540
原创 LangChain简明使用笔记（1）基础知识
构建良好的大型语言模型应用程序的挑战在于如何有效地构造发送给模型的提示，并处理模型的预测以返回准确的输出。
2025-03-27 10:29:01
291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人