fof920-优快云博客

原创 easy-langent（1）LangChain与LangGraph框架认知

LangChain 的三层架构可以直观地理解为：langchain-core是地基和规则，langchain是用地基上的标准构件搭建好的功能房间，而 langchain-openai等集成包则是连接外部服务的门窗和管线。LangChain和LangGraph可以解决传统开发模式的三个核心痛点：重复造轮子（每次开发都要重写模型调用、对话管理这些通用代码）、流程管控复杂（多步骤任务容易出错）、状态维护困难（中间数据不好保存和传递）。LangChain的定位很明确：帮你快速搭建简单到中等复杂度的大模型应用。

2026-04-14 22:21:39 70

原创 Base LLM | 从 NLP 到 LLM 的算法全栈教程第八天

人工设计的、离散的文本指令，我们称之为“硬提示”（Hard Prompt）。但是，“硬提示”这种“刀耕火种”式的方法存在三个明显的局限。找到最优的提示词往往需要大量的试错和经验，过程繁琐且不稳定，充满了“玄学”；离散的文本提示在表达能力上存在上限，难以充分激发和精确控制大模型的潜力；而且在一个模型上精心设计的提示，换到另一个模型或另一种语言上，效果可能大打折扣。学术界和工业界开始探索一种全新的方法——。

2026-04-09 09:10:27 98

原创 Base LLM | 从 NLP 到 LLM 的算法全栈教程第七天

加权交叉熵损失最简单的方法就是“加权”。给数量稀少的实体标签（B, M, E, S）一个更高的权重，给数量庞大的非实体标签（O）一个较低的权重。例如，我们可以设置实体损失的权重为 10，非实体损失的权重为 1。这样，模型在反向传播时，如果弄错了一个实体 Token，会受到比弄错一个非实体 Token 大 10 倍的“惩罚”，从而迫使模型更加关注对实体的识别。

2026-04-05 18:44:34 448

原创 Base LLM | 从 NLP 到 LLM 的算法全栈教程第六天

与原始 Transformer 解码器相比，Llama2 及其同类模型进行了一系列改进，以提升性能和训练稳定性。它的数据流可以概括为：（1）：将token_ids转换为词向量。（2）：数据依次通过 N 个相同的 Transformer Block。RMSNorm和（3）：在所有层之后，进行最后一次 RMSNorm，并通过一个线性层将特征映射到词汇表 logits。

2026-04-05 14:15:20 460

原创 Base LLM | 从 NLP 到 LLM 的算法全栈教程第五天

在某些任务（如命名实体识别）中，将最后几层（例如，最后四层）的向量进行拼接或相加，有时能获得比单独使用最后一层更好的效果。bert是transformer编码器架构创建的双向性预训练语言模型，并不适用于文本生成，工作范式可以分为预训练（Pre-training）和微调（Fine-tuning）两个主要阶段。下一句预测NSP，后续研究RoBERTa，ALBERT 对NSP提出了质疑，但是在BERT原始论文的消融实验证明是有用的。则是保存接口，可将模型权重、配置和词表保存到本地。使用pipline实现代码。

2026-03-31 20:37:05 224

原创 Base LLM | 从 NLP 到 LLM 的算法全栈教程第四天

2014年，研究者们提出了架构，它成功地将一种通用的架构应用于序列转换任务。模型同样被拆分为两个组件，其中扮演“阅读和理解”的角色，负责接收整个输入序列，并将其信息压缩成一个固定长度的C，这个向量即为输入序列的“语义概要”。则扮演“组织语言并生成”的角色，它接收上下文向量 C 作为初始信息，然后逐个生成输出序列中的词元。编码器就是常规的LSTM架构，上下文变量C可以由每一个时间步的隐藏状态h经过线性变换或者平均池化得到，也可以是最后一个神经步的ht和ct。

2026-03-23 15:46:57 451

原创 Base LLM | 从 NLP 到 LLM 的算法全栈教程第三天

词向量取均值：忽略语序信息，将所有词语视为同等重要。全连接网络（Fully Connected Network, FCN）：每个词元孤立处理，没有考虑上下文的顺序关系和依赖关系。1D-CNN：可以获取局部依赖关系，但感受野固定，无法设定所有句子的最佳窗口大小。，即隐藏状态 ht−1。

2026-03-23 14:14:45 346

原创 Base LLM | 从 NLP 到 LLM 的算法全栈教程第二天

文本分类代码实践：新增drop-out，随机mask，早停，增加Tokenizer wi转化功能以及train/val损失对比。

2026-03-20 09:45:49 68

原创 Base LLM | 从 NLP 到 LLM 的算法全栈教程第一天

把新词加入词表，“教会”

2026-03-16 17:33:36 524

原创代码随想录总结

详见资料笔记。

2024-02-29 16:51:04 580

原创吃瓜教程3|决策树

通过在样本集D中选取在属性α上没有缺失值的样本子集，计算在该样本子集上的信息增益，最终的信息增益等于该样本子集划分后信息增益乘以样本子集占样本集的比重。对于（2）：若该样本子集在属性α上的值缺失，则将该样本以不同的权重（即每个分支所含样本比例）划入到所有分支节点中。对于高维数据空间，决策树形成的分类边界有一个特点：轴平行，引入多变量决策树实现斜划分，分裂节点变为k1*x1+k2*x2+...假定当前样本集合D中第k类样本所占比例为pk，则样本集合D的信息熵定义为。评估指的是性能度量，即决策树的泛化性能。

2023-10-26 22:06:04 950

原创吃瓜教程2|线性模型

从而分类问题转化为最优化求解w的问题，当求解出w后，对新的样本进行分类时，只需将该样本点投影到这条直线上，根据与各个类别的中心值进行比较，从而判定出新样本与哪个类别距离最近。若将w看做一个投影矩阵，类似PCA的思想，则LDA可将样本投影到N-1维空间（N为类簇数），投影的过程使用了类别信息（标记信息），因此LDA也常被视为一种经典的监督降维技术。想让同类样本点的投影点尽可能接近，不同类样本点投影之间尽可能远，即：让各类的协方差之和尽可能小，不用类之间中心的距离尽可能大。

2023-10-23 21:48:28 461

原创 231022|推荐系统1-推荐框架注释

data存放数据src放资源包文件，MovieRecOffline放线下训练MovieRecSystem放线上test放main/日志和test，src要添加到路径中。

2023-10-22 20:21:51 404

原创 231022|redis_demo

打开命令行到redis文件夹下，redis-server.exe redis.windows.conf输入即可（该页面不关闭）构建server有两个方法 redis.ConnectionPool和redis.Redis。解压后要先配置redis.windows.conf文件，里面有本地端口和密码设置。再打开命令行到redis文件夹下运行redis-cli.exe可以输入相关命令。默认host:127.0.0.1 port:6379。可以用pipeline的方法进行加速。redis在python中的使用。

2023-10-22 11:28:11 316

原创吃瓜教程-模型的评估与选择

留出法交叉验证法自助法。

2023-10-16 18:58:41 314

原创代码随想录day62|3. 无重复字符的最长子串797. 所有可能的路径

图论入门，深搜和回溯类似，回溯三部曲确定返回值，中止条件，单层的处理，并且可以将问题抽象成树结构，深搜也类似。

2023-09-26 11:01:42 375

原创代码随想录day61|215. 数组中的第K个最大元素72. 编辑距离

sort()函数底层就是快排，优化比自己写要好。

2023-09-25 17:16:14 328

原创代码随想录day60|84. 柱状图中最大的矩形

【代码】代码随想录day60|84. 柱状图中最大的矩形。

2023-09-23 18:58:15 334 1

原创代码随想录day59|503. 下一个更大元素 II42. 接雨水

【代码】代码随想录day59|503. 下一个更大元素 II42. 接雨水。

2023-09-22 13:17:20 290 1

原创代码随想录day58|739. 每日温度496. 下一个更大元素 I

【代码】代码随想录day58|739. 每日温度496. 下一个更大元素 I。

2023-09-22 11:07:34 259 2

原创代码随想录day57|647. 回文子串516. 最长回文子序列

【代码】代码随想录day57|647. 回文子串516. 最长回文子序列。

2023-09-20 12:14:00 238

原创代码随想录day56|583. 两个字符串的删除操作72. 编辑距离

【代码】代码随想录day56|583. 两个字符串的删除操作72. 编辑距离。

2023-09-19 13:15:44 217

原创代码随想录day55|392. 判断子序列115. 不同的子序列

【代码】代码随想录day55|392. 判断子序列115. 不同的子序列。

2023-09-18 11:44:17 173

原创代码随想录day53|1143. 最长公共子序列1035. 不相交的线53. 最大子数组和

1143. 最长公共子序列。

2023-09-16 16:33:05 235

原创代码随想录day52|300. 最长递增子序列674. 最长连续递增序列718. 最长重复子数组

【代码】代码随想录day52|300. 最长递增子序列674. 最长连续递增序列718. 最长重复子数组。

2023-09-15 11:02:56 236

原创代码随想录day51|309. 买卖股票的最佳时机含冷冻期714. 买卖股票的最佳时机含手续费

【代码】代码随想录day51|309. 买卖股票的最佳时机含冷冻期714. 买卖股票的最佳时机含手续费。

2023-09-14 09:34:33 160

原创代码随想录day50|123. 买卖股票的最佳时机 III188. 买卖股票的最佳时机 IV

【代码】代码随想录day50|123. 买卖股票的最佳时机 III188. 买卖股票的最佳时机 IV。

2023-09-13 16:12:12 229

原创代码随想录day49|121. 买卖股票的最佳时机122. 买卖股票的最佳时机 II

【代码】代码随想录day49|121. 买卖股票的最佳时机122. 买卖股票的最佳时机 II。

2023-09-12 11:25:44 228

原创代码随想录day48|198. 打家劫舍213. 打家劫舍 II337. 打家劫舍 III

将环变成线性，只需要考虑首尾，包含首不包含尾，包含尾不包含首（准确来讲不是包含而是考虑）二者取最大值。

2023-09-11 11:34:45 259

原创代码随想录day46|139. 单词拆分

问能否能装满背包（或者最多装多少）：dp[j] = max(dp[j], dp[j - nums[i]] + nums[i])问背包装满最大价值：dp[j] = max(dp[j], dp[j - weight[i]] + value[i])问装满背包所有物品的最小个数：dp[j] = min(dp[j - coins[i]] + 1, dp[j])问装满背包有几种方法：dp[j] += dp[j - nums[i]]

2023-09-09 15:53:07 299