- 博客(84)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 分布式事务解决方案——Seata
在实际应用中，可以根据业务特点组合使用这些模式，例如支付核心用TCC，周边业务用AT或Saga。根据undo_log生成反向SQL。根据undo_log生成反向SQL。执行SQL1(XA START)执行SQL2(XA START)执行SQL1(携带XID)执行SQL2(携带XID)异步删除undo_log。异步删除undo_log。执行成功(XA END)执行成功(XA END)服务A Confirm。服务B Confirm。写入undo_log。写入undo_log。服务A Cancel。
2025-08-05 14:39:05
767
原创 模型训练部署流程
”立即回滚至前一版本，同时排查：1. 输入数据分布变化 2. 特征管道故障 3. 外部依赖变更（如Embedding服务）”：”Model Registry管理生产模型版本，Git触发CI/CD：代码更新→自动化测试→Canary发布”：”基于吞吐量要求：CPU处理<100QPS轻量模型；GPU用于高并发或大模型（>50ms推理）”：采用LightGBM+特征缓存+Go语言API。：CTR预估模型部署延迟<50ms。：怎样选择CPU/GPU部署？：如何处理线上模型性能下降？：模型版本管理怎么做？
2025-07-26 17:08:48
935
原创 分类模型（BERT）训练全流程
BERT (Bidirectional Encoder Representations from Transformers) 是一种强大的预训练语言模型，在各种NLP任务中表现出色。下面我将详细梳理使用BERT实现文本分类模型的完整训练过程。1.2 选择BERT版本BERT-base (110M参数)BERT-large (340M参数)中文BERT (如bert-base-chinese)领域特定BERT (如BioBERT, SciBERT)2. 数据准备2.1 数据格式2.2 数
2025-07-22 13:24:10
1090
原创 【深度学习笔记 Ⅱ】11 学习率衰减
学习率衰减（Learning Rate Decay）是优化深度学习模型的重要技术，它通过在训练过程中逐渐降低学习率来提高模型性能。
2025-07-21 16:34:21
536
原创 【深度学习笔记 Ⅱ】10 Adam优化算法
RMSprop（Root Mean Square Propagation）是由Geoffrey Hinton提出的一种自适应学习率优化算法，是梯度下降法的改进版本。它通过调整每个参数的学习率来解决传统梯度下降中学习率单一的问题。RMSprop是一种非常有效的优化算法，特别适合处理非平稳目标和递归神经网络中的优化问题。它通常比标准SGD表现更好，且计算开销不大，是深度学习中的常用优化器之一。
2025-07-21 15:58:30
1400
原创 【深度学习笔记 Ⅱ】9 动量梯度下降法 &RMSprop
动量梯度下降法（Momentum）是一种改进的梯度下降优化算法，它通过引入"动量"的概念来加速收敛并减少震荡。积累历史梯度：在更新参数时不仅考虑当前梯度，还考虑之前梯度的加权平均模拟物理动量：类似于小球滚下山坡时积累的动量，帮助越过局部极小值和鞍点。
2025-07-21 14:21:23
612
原创 【深度学习笔记 Ⅰ】6 He initialization
相比零初始化、普通随机初始化和 Xavier 初始化，它在 ReLU 网络中表现最优，是现代深度学习模型（如 CNN、ResNet）的标配初始化方法。He 初始化通过调整方差（( \sqrt{2/n^{[l-1]}} )），使得 ReLU 的输入分布更合理，减少神经元死亡的概率。本文将从 He 初始化的原理出发，分析其相对于零初始化（Zeros）、随机初始化（Random）和 Xavier 初始化的优势，并探讨为何它在深层神经网络中表现更优。通过调整方差，使各层的输出保持合理的范围，避免梯度不稳定问题。
2025-07-19 16:14:15
708
原创 【深度学习笔记 Ⅱ】8 mini-batch 梯度下降法
每次迭代使用**一小批样本（Batch）**计算梯度（平衡Batch GD和SGD）。通过合理配置Mini-batch训练，可高效利用计算资源并加速模型收敛。是其最常用的变体，兼顾了计算效率和收敛稳定性。：需手动调整Batch Size。（(m) 为Batch Size）是最基础的优化算法，而。
2025-07-19 13:02:03
850
原创 【深度学习笔记 Ⅰ】5 参数和超参数
是模型训练中两个核心概念，它们共同决定了模型的性能，但作用方式和优化方法截然不同。理解二者的差异与协作方式，是高效训练深度学习模型的基础。
2025-07-19 11:45:11
867
原创 【深度学习笔记 Ⅰ】4 前向传播和反向传播
是神经网络训练的核心机制，分别负责计算预测输出和更新模型参数。通过链式法则计算损失函数对每个参数的梯度，从输出层反向传播至输入层。数据从输入层经过隐藏层逐层计算，最终得到输出层预测值的过程。理解这两大过程是调试模型、设计架构的基础。
2025-07-19 11:41:55
519
原创 【深度学习笔记 Ⅱ】7 梯度数值逼近&双边梯度检验
双边梯度检验（Two-sided Gradient Checking）**是验证反向传播实现正确性的重要技术，尤其在自定义层或复杂损失函数时至关重要。梯度表示损失函数 (J(\theta)) 对参数 (\theta) 的敏感度。在深度学习中，**梯度数值逼近（Numerical Gradient Approximation）通过梯度检验，能有效避免反向传播的隐蔽错误，确保模型训练的理论正确性。对每个参数 (\theta_i) 进行双边差分，得到。用于验证反向传播计算的梯度。通过反向传播得到梯度值。
2025-07-19 11:28:57
937
原创 【深度学习笔记 Ⅱ】6 权重初始化
是模型训练的关键步骤，直接影响梯度流动、收敛速度和最终性能。不合理的初始化可能导致梯度消失/爆炸或模型陷入局部最优。He初始化通过调整方差（(\sqrt{2/n_{\text{in}}})）补偿ReLU的“死区”效应。初始化应使各层输出的方差近似相等，避免深层网络梯度不稳定。通过合理初始化，模型能更快收敛并避免早期训练失败。（适用于Sigmoid/Tanh）（适用于ReLU及其变种）
2025-07-19 11:21:05
629
原创 【深度学习笔记 Ⅱ】5 梯度消失和梯度爆炸
梯度爆炸（Exploding Gradients）**是训练深层神经网络时的两大常见问题，它们与反向传播中的梯度计算直接相关。反向传播通过链式法则计算梯度。在深度学习中，**梯度消失（Vanishing Gradients）
2025-07-19 11:18:02
1384
原创 【深度学习笔记 Ⅱ】4 归一化输入
是数据预处理的关键步骤，旨在加速模型训练、提高稳定性并改善泛化性能。调整到相似的数值范围（如均值为0，方差为1），消除不同特征之间的量纲差异。通过合理归一化，模型能更快收敛并避免不必要的数值问题。，因其对异常值鲁棒性更强。归一化是指将输入数据。
2025-07-19 10:57:38
620
原创 【深度学习笔记 Ⅱ】3 正则化&Dropout
是两种关键的技术，用于防止模型过拟合（Overfitting）并提升泛化能力。正则化是通过在损失函数中添加额外的约束（惩罚项），限制模型参数的大小，从而防止模型过度拟合训练数据。Dropout 是一种。
2025-07-19 10:54:08
1187
1
原创 【深度学习笔记 Ⅱ】2 方差偏差
偏差：模型是否足够强大以学习数据规律。方差：模型是否过度依赖训练数据的特定噪声。关键：通过模型设计、数据扩充和正则化技术，在二者之间取得平衡，实现最优泛化性能。
2025-07-19 10:48:54
1112
原创 【深度学习笔记 Ⅱ】1 数据集的划分
在深度学习中，**训练集（Training Set）、验证集（Validation Set）和测试集（Test Set）交叉验证（Cross-Validation）**是一种更鲁棒的评估方法。
2025-07-19 10:44:52
692
原创 【深度学习笔记 Ⅰ】2 浅层神经网络
的神经网络，是深度学习发展早期的经典结构。与之相对的是“深层神经网络”（Deep Neural Network，DNN），后者通常包含多个隐藏层（如10层、100层甚至更多）。浅层网络适合简单任务或计算资源受限的场景，而深层网络在复杂任务（如计算机视觉、自然语言处理）中表现更优。：输入层 → 1个隐藏层 → 输出层。：仅输入层直接连接输出层（本质是。
2025-07-14 17:08:14
611
原创 【机器学习笔记 Ⅲ】5 强化学习
是机器学习的一个分支，其核心思想是让智能体（Agent）通过与环境（Environment）的交互学习最优策略（Policy），以最大化长期累积奖励（Reward）。它模拟了人类或动物通过“试错”进行学习的过程，广泛应用于游戏AI、自动驾驶、机器人控制、推荐系统等领域。尽管面临样本效率、稳定性等挑战，但结合深度学习后，在复杂任务（如游戏、机器人）中展现了强大潜力。其中 ( \gamma )（折扣因子，0 ≤ γ ≤ 1）权衡当前奖励与未来奖励的重要性。智能体的目标是学习一个策略 ( \pi )，最大化。
2025-07-08 17:23:37
813
原创 【机器学习笔记 Ⅲ】4 特征选择
特征选择是机器学习中优化模型性能的关键步骤，通过筛选最相关、信息量最大的特征，提高模型精度、降低过拟合风险并加速训练。通过系统化的特征选择，可显著提升模型效率与效果。实际应用中需结合数据特性和业务需求灵活调整方法。：基于统计指标评估特征与目标的相关性，独立于模型。：通过模型性能迭代选择特征子集。：考虑特征交互，效果通常更好。：模型训练过程中自动选择特征。：计算高效，适合高维数据。
2025-07-07 22:54:23
1182
原创 【机器学习笔记 Ⅲ】2 K-Means聚类算法
之一，通过迭代将数据划分为K个簇（Cluster），使得同一簇内数据点尽可能相似，不同簇间差异显著。：重复分配和更新，直到簇中心不再变化或达到最大迭代次数。：随机选择K个数据点作为初始簇中心。：将每个数据点分配到最近的簇中心。：重新计算每个簇的中心（均值）。K-Means是最常用的。
2025-07-07 17:38:39
593
原创 【机器学习笔记 Ⅲ】1 无监督学习
与监督学习不同，它不依赖预先标注的输出结果，而是通过数据本身的分布特性进行学习。将数据分组为相似的簇（Cluster），同一簇内样本相似度高，不同簇间差异大。：{尿布} → {啤酒}（顾客买尿布时很可能买啤酒）。发现数据中的频繁项集和关联规则（如购物篮分析）。减少特征数量，保留关键信息，用于可视化或去噪。无监督学习是机器学习的一个核心分支，其特点是。，选择最大特征值对应的特征向量作为主成分。识别数据中的离群点或异常模式。PCA通过特征值分解协方差矩阵。
2025-07-07 12:14:50
982
原创 【机器学习笔记 Ⅱ】12随机森林
通过构建多棵决策树并综合其预测结果，显著提升模型的准确性和鲁棒性。其核心思想是“集体智慧优于个体决策”。利用样本在所有树中的平均深度（Isolation Forest原理相近）。随机森林是一种基于集成学习（Ensemble Learning）的。通过随机森林的相似性矩阵估算缺失值。
2025-07-07 11:39:18
713
原创 【机器学习笔记 Ⅱ】11 决策树模型
通过一系列规则对数据进行分类或回归。其核心思想是模仿人类决策过程，通过不断提问（基于特征划分）逐步逼近答案。：年龄、收入、信用评分。：预测是否批准贷款。
2025-07-07 11:33:07
745
原创 【机器学习笔记 Ⅱ】9 模型评估
评估机器学习模型是确保其在实际应用中有效性和可靠性的关键步骤。通过系统化评估，可以确保模型不仅在数据上表现良好，还能在实际业务中创造价值！
2025-07-07 11:19:12
1303
原创 【机器学习笔记 Ⅱ】7 多类分类
将logits转换为归一化概率，与交叉熵损失配合使用。i \in (0,1) )，且 ( \sum。：目标变量有多个互斥类别，需输出概率分布。
2025-07-07 10:40:08
961
原创 【机器学习笔记 Ⅱ】6 激活函数
每层通过非线性函数（如ReLU）变换，使网络能拟合任意复杂函数（Universal Approximation Theorem）。链式法则中，若激活函数导数 ( \sigma’(z) ) 过小（如Sigmoid在两端导数≈0），多层连乘导致梯度指数级衰减。激活函数是神经网络的核心组件，其作用远不止“引入非线性”。：ReLU在 ( x<0 ) 时梯度为0，可能导致神经元死亡。激活函数是神经网络的“灵魂”，决定了模型能否学习复杂模式！：多层神经网络等价于单层线性变换（矩阵连乘仍是线性）。
2025-07-07 10:15:35
877
原创 【机器学习笔记 Ⅱ】5 矩阵乘法
矩阵乘法是神经网络、图形学、科学计算等领域的核心运算，用于高效处理线性变换和批量数据计算。以下是其数学定义、计算规则及实际应用的系统解析。对大量零元素的矩阵（如自然语言处理的词向量），使用稀疏格式（如CSR）节省内存。矩阵乘法是机器学习的“基石运算”，掌握其原理和实现能深入理解模型底层运作！NumPy底层调用BLAS（如OpenBLAS、MKL）加速矩阵运算。
2025-07-07 10:05:48
782
原创 【机器学习笔记 Ⅱ】4 神经网络中的推理
与训练阶段不同，推理阶段不计算梯度也不更新权重，仅执行前向传播。通过高效实现推理，训练好的模型可以快速应用于实际场景（如实时分类、自动驾驶决策等）。推理（Inference）是神经网络在训练完成后。
2025-07-07 09:50:00
576
原创 【机器学习笔记 Ⅱ】3 前向传播
text{输入层} \rightarrow \text{隐藏层1} \rightarrow \dots \rightarrow \text{输出层}的过程，通过逐层计算每一层的输出，最终得到预测结果。：自动处理前向传播，用户只需定义层结构。方法自定义前向逻辑。前向传播是神经网络中。
2025-07-07 01:32:29
1090
原创 【机器学习笔记 Ⅱ】2 神经网络中的层
神经网络中的“层”是模型的基本构建模块，每一层由多个**神经元（或节点）**组成，负责对输入数据进行特定类型的变换（如特征提取、非线性激活）。通过堆叠不同的层，神经网络可以学习从简单到复杂的多层次特征表示。通过灵活组合不同类型的层，可以构建适应各种任务的强大模型！：每个神经元与前一层的所有神经元连接。：分类器、特征组合。
2025-07-06 21:05:38
1022
空空如也
企业微信 分片拉取多媒体数据 第二个512k报错10000
2022-02-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人