- 博客(73)
- 收藏
- 关注
RSS订阅原创 Python实用速查表：日常任务的高效编程指南
我将各个部分划分为逻辑连贯的区域，这些区域通常协同工作。如此一来，可以迅速跳转到感兴趣的部分，并找到与特定任务或主题最为相关的内容。这其中包括文件操作、API交互、电子表格处理、数学计算以及对列表和字典等数据结构的操作。此外，我还会着重介绍一些实用的库，以增强您的Python工具包，这些库在Python的常见应用领域中广泛使用。
2025-04-04 12:07:48
636
原创 【决策树算法精讲第05篇】CART算法——基尼指数与回归树
基尼指数作为CART分类树特征选择的核心准则，主要用于衡量数据集的纯度。从直观层面理解，它代表了从数据集中随机抽取两个样本，其类别不一致的概率。用数学公式表达如下：在这个公式里，(K)表示数据集的类别总数，(P(Y=y_k))表示样本属于第(k)类别的概率。从公式可以看出，基尼指数越小，意味着数据集中样本的类别分布越集中，即数据集的纯度越高。
2025-04-02 09:00:00
1330
原创 【决策树算法精讲第04篇】C4.5算法：增益率与工程改进
信息增益率是C4.5算法的核心改进之一，它的引入主要是为了解决ID3算法对多值特征的偏好问题。信息增益率的数学定义如下：其中，(\text{Gain}(Y,X)) 是我们之前提到的信息增益，它衡量了特征 (X) 对分类目标 (Y) 的贡献程度；(H(X)) 是特征 (X) 的熵，用于惩罚取值数较多的特征，其计算公式为：这里的 (n) 是特征 (X) 的取值个数，(P(X=x_i)) 是特征 (X) 取第 (i) 个值的概率。增益率解决偏差问题。
2025-04-01 15:00:00
777
原创 【决策树算法精讲第03篇】特征选择：信息增益与ID3算法
信息增益在决策树的特征选择中扮演着核心角色，它主要用于衡量特征(X)对分类目标(Y)的贡献程度。其数学定义如下：在这个公式里，(H(Y))代表目标变量(Y)的熵，它反映了在分裂之前目标变量的不确定性程度。熵值越大，意味着目标变量的不确定性越高；反之，熵值越小，则表示目标变量越趋于确定。而(H(Y|X))被称为条件熵，它表示在已知特征(X)的条件下，目标变量(Y)的平均不确定性。通过计算两者的差值，即信息增益，我们能够清晰地了解到引入特征(X)后，目标变量(Y)的不确定性降低了多少。
2025-04-01 09:00:00
1403
原创 【决策树算法精讲第02篇】数学基础回顾——概率与信息论
概念公式熵条件熵( H(Y信息增益信息增益率为了更好地理解和运用这些公式，我们需要明确每个公式的含义和作用。熵衡量的是目标变量的不确定性；条件熵表示在已知某个特征条件下目标变量的不确定性；信息增益通过两者的差值，反映了某个特征对降低目标变量不确定性的贡献程度；而信息增益率则是对信息增益进行归一化，以解决信息增益在特征选择时对多值特征的偏好问题。熵作为信息论中的重要概念，有效地量化了目标变量的不确定性。熵值越大，目标变量的不确定性越高；熵值越小，目标变量越趋于确定。
2025-03-31 14:00:00
969
原创 【决策树算法精讲第01篇】决策树基础概念与人类决策模拟
在本篇中，我们全面而深入地探讨了决策树的核心概念、结构组成以及它与人类决策过程的紧密联系。决策树通过其独特的树形结构和规则链，将复杂的决策过程简化为直观的可视化表示，让我们能够清晰地理解数据是如何被处理和分类的。然而，正如任何模型一样，决策树也并非完美无缺，它面临着过拟合、不稳定性以及对线性关系不敏感等问题。在后续的文章中，我们将进一步深入挖掘决策树的内部机制，重点讨论如何选择分裂特征（如信息增益、基尼指数等方法）以及如何优化树结构（如剪枝算法），以提高决策树的性能和泛化能力。
2025-03-31 09:00:00
677
原创 【聚类算法解析系列10】前沿方向——聚类算法的未来在哪里？
对比学习（Contrastive Learning）通过数据增强生成正负样本对，使模型无需标签即可学习通用特征。：Concept Activation Vectors (CAVs) 量化抽象概念对聚类的影响。：扩散模型（Diffusion Model）生成高质量样本，解决小样本聚类难题。其中( W_i, W_t, W_b )为可学习投影矩阵。：跨模态用户分群使GMV提升18%，点击率提升23%
2025-03-28 14:00:00
566
原创 【聚类算法解析系列 08】大规模数据聚类——分布式算法与工程优化
在大规模数据聚类中，我们需要在分布式与近似算法之间找到平衡。对于十亿级数据，Spark 分布式方案是首选；而对于百万级数据，Mini - Batch 等近似算法可以在保证一定精度的前提下提高效率。在成本控制方面，集群规模与训练耗时呈现平方反比关系，即增加 10 倍节点可以将耗时缩短至原来的 1/10。若数据分片不均匀（某些分片样本量极少），如何避免质心更新偏差？我们可以考虑对样本量少的分片进行数据扩充，或者调整质心更新的权重，使其更合理地反映数据的分布情况。
2025-03-27 14:00:00
1281
原创 【聚类算法解析系列07】聚类与深度学习的结合——深度嵌入聚类（DEC）
数据本质是连续流形上的概率分布，而非离散样本点的集合——这正暗合了爱因斯坦"场论"对经典力学的超越。在20量子位系统中，MNIST分类准确率达85%，耗时仅经典DEC的1/1000。其中系数比( \alpha:\beta:\gamma )决定优化轨迹的相变路径。：BraTS 2023脑肿瘤数据集（3D MRI，4模态）在100家医院联合训练中，模型AUC提升12%，数据不出域。在8xA100集群上，训练速度提升6.8倍。模型体积缩小至1/4，推理延迟降低至8ms。
2025-03-27 09:00:00
1092
原创 【聚类算法解析系列06】进阶聚类算法——谱聚类与Mean Shift
当Facebook分析30亿用户的社交网络时，当达芬奇手术机器人分割肿瘤组织时，当Waymo自动驾驶汽车识别路障时——：将数据转换为图结构，通过谱分解（Spectral Decomposition）捕捉数据流形的低频振动模式。数据本质是连通的图，而非孤立的点——爱因斯坦"场论"在ML的再现。在512维数据上，特征分解速度提升1000倍。
2025-03-26 14:00:00
1181
原创 【聚类算法解析系列05】聚类效果评估——如何量化“好”的聚类？
当腾讯健康用聚类算法分割CT影像病灶时，当Visa用异常检测拦截信用卡欺诈时，评估指标就是AI系统的"质检仪"。通过5个工业级案例、12个数学公式推导和8种工程实践技巧，构建评估指标的全维认知体系。某半导体厂用改良DBI优化晶圆缺陷聚类，误检率从12%降至3.5%在ImageNet特征聚类中，NMI从0.62提升至0.79。通过动态评估模型，骑手调度效率提升19%
2025-03-26 09:00:00
635
原创 【聚类算法解析系列04】聚类算法实战——客户分群与图像压缩
当阿里巴巴用K-Means将8亿用户划分为3000个精细群体时，当Instagram用颜色压缩技术将图片存储成本降低60%时，聚类算法完成了从数学公式到商业价值的惊险一跃。本文将通过两大工业级案例，揭示K-Means在用户运营与图像工程中的魔鬼细节，带您掌握算法落地的全链路技巧。
2025-03-25 14:00:00
816
原创 聚类算法解析系列03】经典聚类算法（下）——DBSCAN与高斯混合模型
本文将深入这两种算法的数学本质，通过工业级案例与前沿应用，揭示它们如何破解非凸分布、重叠簇、动态噪声等世纪难题。
2025-03-25 09:00:00
1001
原创 【聚类算法解析系列02】经典聚类算法（上）——K-Means与层次聚类
K-Means与层次聚类，这两个诞生于1960年代的算法，至今仍是工业界使用率最高的聚类工具。{\mathbf{x}_i \in C_k} \mathbf{x}_i ) 是簇中心。准确区分良性（簇1）、原位癌（簇2）、转移灶（簇3），AUC达0.92。通过简单规则迭代逼近最优解，印证了"复杂源于简单"的混沌理论。在社交网络数据上，社区发现F1-score达到0.91。树状结构揭示的数据层次关系，启发了知识图谱的构建方法。在CIFAR-100数据集上，分类准确率提升12%。其中，( \mathbf{\mu}
2025-03-24 14:00:00
2235
原创 【聚类算法解析系列01】聚类算法入门——无监督学习的核心任务
当人类还在用肉眼观察商品关联时，算法已在384维特征空间中捕捉到"婴儿尿布与啤酒"的经典关联——这种超越直觉的洞察力，正是无监督学习的魔力所在。d_{\text{std}} = \sqrt{\left(\frac{\text{面积}-\mu_s}{\sigma_s}\right)^2 + \left(\frac{\text{卧室}-\mu_b}{\sigma_b}\right)^2}在下篇中，我们将深入K-Means的数学本质，解析那个让无数数据科学家又爱又恨的"肘部曲线"之谜。
2025-03-24 09:00:00
2147
2
原创 【回归算法解析系列15】回归算法对比与总结
核心洞见传统线性模型仍是可解释性场景的首选树模型在表格数据中保持性价比优势深度学习推动跨模态回归革命（图→值，视频→指标）
2025-03-21 14:00:00
1697
原创 【回归算法解析系列14】时间序列回归（ARIMA, Prophet）
ARIMA模型在处理单变量平稳时间序列数据方面表现出色，能够通过自回归、差分和移动平均的组合，有效地捕捉数据中的规律。然而，其对数据的平稳性要求严格，且在处理复杂的季节性和外生变量时相对复杂，需要人工进行较多的参数设定和处理。Prophet模型则擅长处理具有复杂季节模式的数据，能够自动检测和适应多种季节性特征，并且原生支持节假日效应和外生变量的纳入。其自动化程度高，在商业预测等领域具有明显优势，能够快速且较为准确地对具有复杂时间特征的数据进行建模和预测。
2025-03-21 09:00:00
836
原创 【回归算法解析系列13】神经网络回归（Neural Network Regression）
核心结论神经网络通过层次非线性变换解决复杂回归问题。注意力机制提升时序/空间数据建模能力。自编码器在特征提取与降维回归中表现优异。下一篇：《时间序列回归：趋势与季节的博弈》ARIMA模型的差分与参数选择Prophet的节假日效应建模深度学习时序预测（LSTM, TCN）
2025-03-20 14:00:00
1796
原创 【回归算法解析系列12】分位数回归（Quantile Regression）
分位数回归凭借其独特的非对称损失函数，为我们揭示了变量关系的分布特征，使我们能够从全分布视角理解数据。在风险管理和费用预测等场景中，分位数回归具有传统回归方法不可替代的价值。同时，通过将分位数回归与神经网络相结合，能够有效处理高维非线性问题，进一步拓展了其应用范围。
2025-03-20 09:00:00
996
原创 【回归算法解析系列11】贝叶斯回归（Bayesian Regression）
贝叶斯回归通过概率建模的方式量化不确定性，在小样本和动态场景中表现出色。MCMC和变分推断作为近似后验的两大主流方法，各有其优缺点和适用场景。预测区间的提供为风险评估提供了直观的支持，使我们能够更全面地理解模型的预测结果。
2025-03-19 14:00:00
892
原创 【回归算法解析系列10】支持向量回归（Support Vector Regression, SVR）
SVR通过核技巧与ε带巧妙地平衡了模型复杂度与预测精度。RBF核在处理多数非线性问题时表现出色，能够有效地拟合复杂的数据分布；而线性核则在大规模数据计算中展现出优势，通过简化计算过程，提高了模型的训练效率。支持向量占比为我们提供了一个重要的指标，它反映了数据的内在结构和维度，有助于我们进行特征工程，优化模型性能。
2025-03-19 09:00:00
1551
原创 【回归算法解析系列09】梯度提升回归树（GBRT, XGBoost, LightGBM）
在实际应用中，我们可以根据具体的业务需求自定义损失函数。以Huber损失为例，它结合了MSE和MAE的优点，对异常值具有一定的鲁棒性。delta = 1.0 # 可调参数# XGBoost训练通过自定义损失函数，我们可以让模型更好地适应数据的特点，提高模型的性能。GBRT通过残差迭代的方式不断优化模型，为解决回归问题提供了强大的理论基础。XGBoost和LightGBM在工程实现上进行了大量的优化，显著提升了计算效率，使得GBRT能够更好地应用于实际场景。
2025-03-18 14:00:00
2111
原创 【回归算法解析系列08】随机森林回归（Random Forest Regressor）
随机森林回归通过Bagging和特征随机性这两个关键技术，实现了强大的泛化能力，能够在各种复杂的数据环境中表现出色。OOB误差为我们提供了一种高效的无偏估计方法，避免了额外验证集的划分，节省了数据和计算资源。同时，特征重要性分析能够帮助我们更好地理解数据，优化模型，为业务决策提供有力支持。
2025-03-18 09:00:00
1298
原创 【回归算法解析系列07】决策树回归（Decision Tree Regressor）
决策树回归通过递归分裂实现非线性建模，适合解释性优先的场景。在实际应用中，当我们需要对模型的决策过程进行解释和理解时，决策树是一个很好的选择。剪枝策略是平衡模型复杂度的关键。通过预剪枝和后剪枝，我们可以避免决策树过拟合，提高模型的泛化能力。特征重要性分析可指导业务决策优化。通过分析特征的重要性，我们可以了解哪些特征对目标变量的影响最大，从而有针对性地进行特征选择和业务决策。
2025-03-17 14:00:00
825
原创 【回归算法解析系列06】多项式回归（Polynomial Regression）
灵活性强：多项式回归可以通过调整多项式的阶数来拟合各种复杂的非线性关系，具有很强的灵活性。易于实现：多项式回归基于线性回归框架，不需要复杂的算法，实现起来非常简单。
2025-03-17 09:00:00
998
原创 【回归算法解析系列05】弹性网络回归（Elastic Net）
弹性网络通过混合L1/L2正则化，平衡了特征选择与稳定性。在特征高度相关且需要稀疏解的场景中，弹性网络具有显著的优势。参数调优是弹性网络应用的关键。我们需要结合业务理解和自动化工具（如）来选择最优的(\lambda) 和(\rho) 值。
2025-03-12 09:00:00
1371
原创 【回归算法解析系列04】 Lasso回归（L1正则化回归）
Lasso通过L1正则化实现特征选择和模型简化。它能够自动筛选出重要特征，同时防止过拟合，提高模型的泛化能力。坐标下降法是优化L1不可导问题的有效方法。通过逐个维度优化权重，坐标下降法能够逐步逼近最优解。在基因数据、金融风控等高维场景中优势显著。在这些场景中，Lasso回归能够有效地处理高维数据，提高模型的可解释性和性能。
2025-03-11 14:00:00
1846
原创 【回归算法解析系列03】 岭回归（Ridge Regression）
岭回归通过引入L2正则化项，有效缓解了线性回归中的多重共线性和过拟合问题，提升了模型的稳定性和泛化能力。超参数λ\lambdaλ控制着正则化的强度，需要通过交叉验证等方法进行选择，以找到最优的λ\lambdaλ值。在测试集上，岭回归通常比普通线性回归更鲁棒，能够提供更准确的预测结果。
2025-03-11 09:00:00
1094
原创 【回归算法解析系列02】 线性回归（Linear Regression）
线性回归（Linear Regression）作为最基础的回归算法，其核心目标在于通过对输入特征进行线性组合，从而实现对连续值的精准预测。它的核心假设是目标变量与特征之间存在线性关系。这一假设虽然看似简单，却在许多实际问题中发挥着重要作用。例如，在预测房价时，我们假设房价 ( y ) 与房屋面积 ( x_1 )、房间数量 ( x_2 ) 的关系可以用以下线性方程来表示：在这个方程中，( w_1 ) 和 ( w_2 ) 分别代表房屋面积和房间数量对应的权重，它们反映了这两个因素对房价的影响程度；
2025-03-10 14:00:00
688
原创 【回归算法解析系列01】回归算法基础与核心概念
回归的核心任务是预测连续值，其关键在于损失函数的选择和模型的优化。损失函数衡量了模型预测值与真实值之间的差距，不同的损失函数具有不同的特点和适用场景。均方误差（MSE）和平均绝对误差（MAE）是最常用的损失函数，其中 MSE 对异常值敏感，数学性质好；MAE 对异常值鲁棒，但不可导。决定系数（R²）和均方根误差（RMSE）是核心评估指标，R² 越接近 1 表示模型越好，RMSE 与目标变量量纲一致，更易解释。正则化技术（如 L1 正则化和 L2 正则化）可以有效地防止过拟合，提升模型的泛化能力。
2025-03-10 09:00:00
652
原创 XGBoost系列文章（十）：前沿发展与局限性
作为本系列的终篇，本文聚焦XGBoost的技术边界与未来方向，解析其在非结构化数据、联邦学习、量子计算等前沿领域的探索，同时直面学术界批评，为读者提供完整的选型决策框架。所有代码可直接运行，助你跨越理论与工业落地的鸿沟。
2025-03-07 14:00:00
795
原创 XGBoost系列文章（九）：最佳实践与避坑指南
本文是XGBoost系列的第九篇，总结工业级项目中的核心经验与高频问题解决方案，从数据预处理到生产部署，提供可直接复用的代码模板和避坑指南。
2025-03-07 09:00:00
841
原创 XGBoost系列文章（八）：生态系统与工具链
本文是XGBoost系列的第八篇，深入解析其生态系统与工业级工具链，涵盖API设计、分布式训练、可视化、模型部署、超参数调优等关键环节，提供可直接复用的代码模板和避坑指南。
2025-03-06 14:00:00
1135
原创 XGBoost系列文章（七）：高级特性与扩展功能
本文是XGBoost系列的第七篇，聚焦其高级特性与工业级扩展能力，通过10个实战场景解析自定义函数、分布式训练、GPU加速、模型部署等进阶技术，提供可直接复用的代码模板。
2025-03-06 09:00:00
1773
原创 XGBoost系列文章（六）：与其他算法的对比
本文是XGBoost系列的第六篇，通过横向对比+代码实测，解析XGBoost与其他主流算法（GBDT、LightGBM、CatBoost、神经网络等）的核心差异、适用场景及性能表现，帮助读者在实际项目中快速选型。
2025-03-05 14:00:00
921
原创 XGBoost系列文章（五）：实战应用与案例
本文是XGBoost系列的第五篇，通过10个实战场景与代码示例，手把手解析XGBoost在分类、回归、排序等任务中的应用技巧，涵盖数据预处理、模型训练、评估与解释全流程。所有代码可直接运行，适合快速上手工业级项目。
2025-03-05 09:00:00
1575
原创 XGBoost系列文章（四）：参数调优与模型训练
本文是XGBoost系列的第四篇，聚焦参数调优与模型训练实战，从参数分类到调优技巧，结合代码示例解析核心方法。内容涵盖学习率、正则化、采样策略、早停法等关键环节，帮助读者快速掌握工业级调参方案。
2025-03-04 14:00:00
1792
2
原创 XGBoost系列文章（三）：工程实现与优化
本文是XGBoost系列的第三篇，聚焦其工程实现与优化技术。通过10个问题解析XGBoost如何将理论转化为高效系统，涵盖并行化、稀疏数据处理、内存管理等硬核设计，适合希望理解工业级机器学习框架实现的开发者。
2025-03-04 09:00:00
1842
原创 XGBoost系列文章（二）：数学原理与推导
本文是XGBoost系列的第二篇，将深入解析其数学原理，用**通俗语言+公式推导**解释核心设计。内容涵盖目标函数、泰勒展开、正则化、节点分裂等关键环节，适合希望理解算法本质的读者。
2025-03-03 14:00:00
702
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人