- 博客(5)
- 收藏
- 关注
RSS订阅原创 Transformer原理（LLM 学习part2)
单一的注意力只能提取一种相关关系，多头注意力意思是对同一个输入做多次注意力计算，每个注意力计算都提取不同的相关关系，最后把多次的结果concat在一起。
2025-06-19 00:36:57
244
原创 LLM技术学习part1
根据生成方式的不同分为抽取式摘要（直接从原文中选取关键句和词）和生成式摘要（重新生成文本，更复杂）。旨在自动识别文本中具有特定意义的实体，比如 人名，地名，日期，组织等等。这个任务为信息提取，知识图谱构建，问答系统，内容推荐的基础任务。其旨在让计算机能够理解提出的问题，并结合给定的数据源提供准确的答案。它的目标是把有意义的的词汇进一步切分为更小的单位，即子词。其任务是把一段给定的文本自动分配到一个或者多个预定义的类别中。即给文本中的每个分词分配一个词性标签，比如 动词，名词，形容词等等。
2025-06-16 22:58:14
238
原创 SVM入门
SVM入门 SVM是支持向量机，那么 什么是支持向量？ 样本中距离超平面最近的一些点，这些点叫做支持向量。 支持向量机的推导 SVM 想要的就是找到各类样本点到超平面的距离最远，也就是找到最大间隔超平面。任意超平面可以用下面这个线性方程来描述： 二维空间点 (x,y) 到直线 的距离公式是： 扩展到 n 维空间后，点 到直线 的距离为： 其中 。如图所示，根据支持向量的定义我们知道，支持向量到超平面的距离为 d，其他点到超平面的距离大于 d。 于是我们有这样的一个公式： 稍作转化可以得
2020-08-26 21:13:27
424
原创 决策树入门
决策树入门 决策树介绍 决策树是一种常见的分类模型，在金融分控、医疗辅助诊断等诸多行业具有较为广泛的应用。决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。例如在婚恋市场中，女方通常会先看男方是否有房产，如果有房产再看是否有车产，如果有车产再看是否有稳定工作……最后得出是否要深入了解的判断。 决策树的主要优点： 具有很好的解释性，模型可以生成可以理解的规则。 可以发现特征的重要程度。 模型的计算复杂度较低。 决策树的主要缺点： 模型容易过拟合，需要采用减枝技术处理。 不能很好利
2020-08-22 20:14:20
285
原创 逻辑回归入门
逻辑回归入门 逻辑回归定义 逻辑回归其实是实现了一个决策边界：对于函数，当z≥0 时,y≥0.5,分类为1，当 z<0时,y<0.5,分类为0，其对应的y值我们可以视为类别1的概率预测值。 对于模型的训练而言：实质上来说就是利用数据求解出对应的模型的特定的ω。从而得到一个针对于当前数据的特征逻辑回归模型。 而对于多分类而言，将多个二分类的逻辑回归组合，即可实现多分类。 逻辑回归实践 第一步 库函数引入 ## 基础函数库 import numpy as np import pandas as
2020-08-20 18:34:15
248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人