- 博客(30)
- 收藏
- 关注
RSS订阅原创 transformers迁移学习
模型选择：理解类任务选BERT系列，生成类任务选GPT/T5系列；中文任务优先。库的使用：快速验证用Pipeline，通用开发用AutoModel，深度定制用。迁移学习本质：所有预训练模型均基于“预训练+微调”范式，通过少量数据即可适配新任务，大幅降低训练成本。对比维度BERTGPT核心架构注意力方向双向 (可同时看前后文)单向 (只能看前文)训练目标掩码语言模型 (MLM)，类似“完形填空”自回归语言模型，类似“文本续写”能力侧重擅长语言理解和分析擅长语言生成和创作。
2026-05-17 19:54:28
565
原创 Transformer
文本↓分词器(将文本切分为索引，如 [101, 7592, 2088, 102])↓词嵌入查找(将索引转换为向量EtokenE_{token}Etoken↓位置编码生成(生成位置向量EposE_{pos}Epos↓相加XEtokenEposXEtokenEpos↓输入模型(张量XXX进入第一层编码器或解码器)并行策略核心逻辑优点缺点典型应用场景数据并行 (DP)数据分片，模型复制。
2026-05-17 10:48:51
400
原创 注意力机制
让模型在处理信息时，学会“聚焦”于输入序列中与当前任务最相关的部分，而不是同等地看待所有信息。它模拟了人类视觉的注意力机制——我们看一张图或读一句话时，不会平均分配精力，而是关注重点。在注意力机制出现之前，主流的序列模型（如 RNN、LSTM、GRU）主要依赖编码器-解码器架构来处理序列到序列的任务（如机器翻译）。注意力机制的诞生：它允许解码器在生成每一个输出词时，直接“回头”查看编码器的所有隐藏状态，从中挑选出最相关的信息，而不是只依赖最后一个状态。我们可以把注意力机制想象成一个字典查找的过程：在深度学习
2026-05-07 17:40:33
459
原创 RNN及其变体
循环神经网络（RNN）及其变体是专门为处理序列数据而设计的一类神经网络。它们的核心思想是引入“记忆”机制，能够利用历史信息来影响当前的输出，这使其在自然语言处理、时间序列分析等领域非常有效。RNN 的设计灵感来源于人类认知的“记忆”机制。与传统神经网络假设输入样本相互独立不同，RNN 通过引入隐藏状态 (Hidden State)，使得信息可以在时间步之间传递。N vs N - RNN它是RNN最基础的结构形式， 最大的特点就是：输入和输出序列是等长的。由于这个限制的存在, 使其适用范围比较小, 可用于生成
2026-05-06 21:16:01
435
原创 文本预处理
分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符。分词过程就是找到这样分界符的过程添加自定义词典后,jieba能够准确识别词典中出现的词汇，提升整体的识别准确率。词典格式: 每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。# 加载自定义词典# 精确模式分词。
2026-05-05 20:23:23
521
原创 自然语言处理基础
核心目标：让计算机完成理解人类语言、生成人类语言、分析语言内容、完成语言类任务四大能力核心挑战：歧义性：一词多义（如"苹果"指水果还是公司）、结构歧义（如"咬死了猎人的狗"）多样性：同一意思有无数种表达方式演化性：网络新词、新梗不断涌现文化依赖性：语言中蕴含丰富的背景知识和常识。
2026-05-05 19:52:58
475
原创 神经网络基础
人工神经网络（ Artificial Neural Network， 简写为ANN）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的计算模型。人脑可以看做是一个生物神经网络，由众多的神经元（基本单位）连接而成。神经网络的概念最早源于对生物神经系统的研究。在大脑中，神经元通过树突接收信号，在细胞体内处理，若信号强度超过阈值，则通过轴突传递信号。受此启发，人工神经网络将这一过程抽象为数学模型，本质上是一个可以从数据中学习的复杂函数：人工神经元是神经网络的基本计算单元，其数学模型包括以下部分：输入：
2026-04-23 20:21:58
521
原创 PyTorch 核心使用
数据处理阶段：放心使用NumPy。它生态成熟，配合 Pandas/Matplotlib 处理 CSV、图像预处理非常方便。模型训练阶段：必须转换为PyTorch。利用其 GPU 加速和自动求导能力。避坑指南：不要试图把 GPU 张量直接转 NumPy。注意的内存共享特性，修改原数组可能会意外改变张量数据。矩阵乘法记得用或，别用。
2026-04-18 08:48:40
499
原创 深度学习概叙
随着上下文窗口达到百万级 (1M+ Tokens)，传统 O(N2)O(N2) 的注意力机制面临瓶颈，新架构层出不穷。注：2026年主流模型通常使用分组查询注意力 (GQA) 或 滑动窗口注意力 来优化推理速度。: 不再是将图像Patch简单映射为Text Token，而是构建统一的语义空间。扩散模型 (Diffusion Models): 通过逐步去噪生成数据。允许模型在不同的子空间同时关注不同位置的信息。: 一步或多步生成，极大提升推理速度。
2026-04-18 08:48:06
581
原创 朴素贝叶斯算法
（Naive Bayes Algorithm）是一种基于与的经典分类算法。尽管其假设在现实中往往过于“朴素”（即假设所有特征之间相互独立），但它在许多实际应用场景中（尤其是文本分类）表现优异，且计算效率极高。
2026-04-15 15:11:33
735
原创 集成学习（Ensemble Learning）
随机森林为什么比单棵决策树好？答：通过Bagging降低了方差，通过特征随机选择增加了多样性，避免了单棵树容易过拟合的问题。XGBoost 比 GBDT 快在哪里？答：二阶泰勒展开（更精准）、正则化项（防过拟合）、列采样、缺失值自动处理、支持并行计算（特征粒度上的并行）。Bagging 和 Boosting 的主要区别？答：串行vs并行；关注偏差vs关注方差；样本权重固定vs动态调整；基学习器强依赖vs相互独立。Stacking 中为什么要用 K 折交叉验证生成训练数据？
2026-04-15 15:09:15
688
原创 决策树（Decision Tree）
是一种算法，可用于（Classification）和（Regression）任务。它通过树状结构对数据进行分层判断，每个内部节点表示一个特征上的测试，每个分支代表一个测试结果，每个叶节点代表一个类别（分类）或数值（回归）。
2026-04-01 14:26:44
861
原创 逻辑回归（Logistic Regression）
场景推荐指标类别平衡，关注整体性能正类更重要（如疾病）Recall（高查全）误报代价高（如垃圾邮件）Precision（低误报）需要综合 Precision & RecallF1-score比较不同模型的概率排序能力AUC-ROC多分类问题Macro-F1 或 Weighted-F1黄金法则：没有“最好”的指标，只有“最合适”业务目标的指标。
2026-03-29 15:03:51
750
原创 线性回归 (Linear Regression)
利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。目的建立一个线性模型，用一个或多个自变量（特征）来预测一个连续型因变量（目标值）假设因变量 yyy 与自变量 x1,x2,...,xnx1,x2,...,xnx1,x2,...,xn 之间存在近似线性关系y=β0+β1x+εy=β_0+β_1x+εy=β0+β1x+εy=β0+β1x1+β2x2+⋯+βpxp+εy=β_0+β_1x_1+β_2x_2+⋯+β_px_p+εy=β0+β1x1+β
2026-03-29 14:37:26
607
原创 KNN算法
KNN 是“站在巨人肩膀上”的算法——它不构建模型，而是直接利用已有数据做决策。虽然简单，但在小数据、低维、干净的场景下依然有效，且极具教学价值。
2026-03-26 15:33:31
774
原创 机器学习概叙
项目AIMLDL定义模拟人类智能从数据中学习规律使用深度神经网络学习范围最广AI 的子集ML 的子集是否需要数据不一定（规则系统可无数据）必须大量数据特征工程可手动常需手动自动提取典型技术专家系统、搜索算法决策树、SVM应用举例智能助手、机器人推荐系统、信用评分图像生成、大语言模型基于规则学习基于规模学习监督学习是目前工业界最成熟、应用最广的方式。无监督学习用于探索和表示学习。强化学习擅长序贯决策，但工程复杂度高。自监督 + 迁移学习。
2026-03-26 15:02:01
478
原创 Python高级语法
上下文管理器是一种协议对象，用于在执行一段代码块前后自动执行设置和清理操作。最典型的使用场景是资源管理（如文件、锁、数据库连接等），确保资源被正确释放，即使发生异常也不会泄漏。核心作用：“自动善后” —— 进入时准备，退出时清理。基本语法:等价于(伪代码):上下文管理器协议一个对象要成为上下文管理器，必须实现两个方法: 参数说明：场景:文件编辑场景:抑制特定异常使用 装饰器（推荐！）常见内置上下文管理器用途示例文件操作线程锁临时修改状态临时目录
2026-02-26 21:41:33
776
原创 Python深浅拷贝
在 Python 中,可变类型和不可变类型的拷贝行为有所不同.在学会正确使用浅拷贝和深拷贝之前,我们要掌握可变类型与不可变类型的区别.
2026-02-06 21:04:49
633
原创 Python闭包装饰器
a 当原有函数没有参数时, 对应定义的装饰器的内部函数也没有参数b 当原有函数没有返回值时, 对应定义的装饰器的内部函数也没有返回值c 当原有函数有返回值时, 定义的装饰器的内部函数中要返回值d 当原有函数有参数时, 定义的装饰器类的内部函数也应该有参数。
2026-02-05 21:50:10
553
原创 python面向对象编程
属性表示的是固有特征，在Python中使用变量表示，例如人的姓名、年龄、身高、体重等，都是对象的属性。基本语法__init__ 魔法方法class Car:print(f'self . color } 的 {self . brand } 的电量为 {self . battery_capacity } ') c1 = Car('Tesla' , '红色' , '100kw/h') c1 . battery() # 红色的Tesla的电量为100kw/hself . color } 的 {
2026-02-02 21:16:19
1186
1
原创 Python文件操作
内存中存放的数据在计算机关机后就会消失。要长久保存数据，就要使用硬盘、光盘、U 盘等设备。为了便于数据的管理和检索，引入了“”的概念。文件可分为文本文件、视频文件、音频文件、图像文件、可执行文件等多种类别。
2026-01-31 20:12:48
1073
原创 python中的函数与异常
所谓函数就是一个被命名的独立的,完成特定功能的代码段,并可能给调用它的程序一个返回值def 函数名称([参数1, 参数2, ...]):函数体...[return 返回值]当检测到一个错误时，解释器就无法继续执行了，反而出现了一些错误的提示，这就是所谓的"异常"。
2026-01-30 21:21:36
719
原创 python推导式
推导式comprehensions（又称解析式），是Python的一种独有特性。推导式是可以从一个数据序列构建另一个新的数据序列（一个有规律的列表或控制一个有规律列表）的结构体。列表推导式集合推导式字典推导式。
2026-01-30 21:14:08
260
原创 python数据容器
字符串是 Python 中最常用的数据类型,用来表示和处理文本信息.在Python中，字符串是不可变的序列，用单引号 '、双引号 " 或 三引号 括起来# 三引号形式的字符串支持换行操作"""# eg: I'm Tina str1 = "I'm Tina" # or str2 = 'I\'m Tina" # 注:'I'm Tina'会报错字符串切片指对操作的对象截取其中一部分的操作。字符串、列表、元组都支持切片操作。基本语法顾头不顾尾,包左不包右序列名称[开始位置下标:结束位子下标:步长]
2026-01-27 23:18:24
1085
原创 Python中的变量和基础语法
变量名称 = 变量的值eg: name = '张三'tip:要从右向左读，把变量的值通过 = 赋值给左边的变量先定义后使用age = 18调用print(age)或常见问题print(name) # 输出变量name对应的值print('name') # 输出'name'这个字符串。
2026-01-19 21:37:28
640
原创 Python环境搭建
Anaconda是一个开源的 Python/R 数据科学平台，它极大地简化了包管理和环境管理。你可以把它理解为一个“超级工具箱”，里面不仅包含了Python本身，还预装了超过1500个用于数据科学（如数据分析、机器学习、可视化）的流行库和工具。
2026-01-18 14:34:56
36
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人