- 博客(41)
- 收藏
- 关注
RSS订阅原创 【量子退火（Quantum Annealing, QA）在Machine Learning Classification中的应用】
支持向量机通过寻找最佳的超平面来对数据进行分类，量子退火可以用于优化SVM的超平面参数，尤其是在高维空间中，量子退火能够有效避免局部最优解，找到更优的超平面。在下面的示例中，我们将使用量子退火优化K近邻（KNN）分类器的参数，特别是优化距离度量。在KNN算法中，量子退火可以用来优化距离度量函数，从而改善分类结果，尤其是在复杂的数据分布下，量子退火能够通过优化度量函数提高分类精度。在机器学习中，量子退火可以用来优化分类模型的参数，特别是在高维空间中，它能够高效地探索模型的解空间，从而提高模型的性能。
2024-11-17 23:16:54
867
1
原创 寻找最优解的算法-模拟退火算法（Simulated Annealing）
今天，我们通过一个有趣的生活场景——“醉酒的人下山”，来形象地理解模拟退火算法的工作原理，并且提供一个简单的实现案例和Python代码。如果他走到的地方比现在的位置高（即走到了一个局部的“山峰”），他可能仍然会决定停留在这个地方，毕竟他可能找到了比当前状态稍好一点的位置（这就是模拟退火中的“接受劣解”）。随着醉酒的人下山，他的判断能力会变得更为理智（模拟退火中的温度逐渐降低），不再随意接受一些较差的解，而开始越来越倾向于选择更接近山谷的地方。醉酒的人希望找到最低的山谷，也就是最低的能量状态（全局最优解）。
2024-11-17 22:53:23
1696
原创 AI大语言模型(LLM)：电商行业的搜索革命与未来趋势
随着人工智能的快速发展，电商行业正在经历一场深刻的变革。尤其是在搜索技术方面，大语言模型（LLM）正逐渐成为提升用户体验和增加转化率的核心技术之一。相比传统的搜索引擎，LLM不仅能提供更精准的搜索结果，还能实现更高效的个性化推荐和智能化客户服务。本文将探讨大语言模型如何变革电商搜索，提升购物体验，并结合实际案例分析这一技术在电商领域的广泛应用。
2024-11-14 13:45:39
1027
原创 让AI决策透明：把深度学习算法变为可解释性的方法
*深度学习模型（特别是神经网络）“黑箱”**模型，缺乏直观的可解释性。然而，在金融、医疗等领域，模型的可解释性是至关重要的，因为决策需要透明，且模型的结果往往直接影响到客户的利益或法规遵从。为了增强深度学习模型的可解释性，当前有几种方法和技术可以帮助我们理解和解释模型的决策过程。下面是一些常见的方法和技巧。
2024-11-13 22:47:30
1511
2
原创 【打破传统模型方法：使用深度神经网络 DNN模型的授信额度计算方法】-附完整python代码
深度神经网络（Deep Neural Network, DNN），该模型通过 Keras 和 TensorFlow 构建，包含多个全连接层（Dense Layer）和 Dropout 层，以此来减少过拟合。
2024-11-13 22:23:25
710
原创 《金融风控：授信额度设置模型训练全过程》附完整python代码
在实际金融业务中，银行通常会基于客户的风险评估结果（通常通过模型输出的概率）来计算最终的授信额度。我们可以假设每个客户的授信额度是基于模型预测的违约概率的反函数进行计算。我们可以根据客户的风险等级、收入水平、负债情况等特征，对客户进行分段，并在不同段落中设定不同的额度计算公式。根据银行的政策，设定一个授信额度的上下限。在实际金融风控中，除了根据违约概率计算授信额度外，还需要考虑风险调整系数，即对高风险客户进行额度的“折扣”。我们可以结合模型的输出和客户的财务特征来计算“调整后的授信额度”，
2024-11-13 22:05:55
460
原创 《银行信用评分卡模型训练全过程：数据处理、特征工程、特征选择、模型调优到模型的完美实践》-python
假设我们有一个银行信用评估数据集，包含了客户的基本信息以及历史信用记录等特征。年龄 (Age)年收入 (Annual Income)信用历史 (Credit History Length)负债比例 (Debt-to-Income Ratio)是否违约 (Default) - 目标变量，1 表示违约，0 表示未违约。
2024-11-13 21:50:22
1759
原创 CenterFusion与CenterNet目标检测模型的差异分析
随着目标检测技术的快速发展，各种不同的检测模型应运而生，涵盖了从单模态（如RGB图像）到多模态（如RGB图像和深度图、激光雷达数据）的广泛应用。由于需要额外的传感器数据，CenterFusion的数据准备更加复杂，且要求训练数据集同时包含RGB图像和深度图。本文的主要目的是详细比较 CenterNet 和 CenterFusion 两种模型的差异，尤其在架构、性能、训练数据、应用场景等方面的差异。数据增强方法包括随机翻转、旋转、平移等。训练时需要更多的数据，且深度图数据的处理较为复杂，对硬件的要求较高。
2024-11-13 19:56:44
718
原创 【自动驾驶-感知】CenterNet与CenterFusion融合目标检测的目标检测模型实战代码-基于PyTorch
CenterNet 使用 ResNet 作为 backbone 进行特征提取，以下是模型的一个简化实现：python。
2024-11-13 18:57:49
1290
原创 如何进行特征工程-案例电商平台用户欺诈检测 附python代码
假设我们有一个包含以下字段的原始交易数据集：user_id：用户IDtransaction_id：交易IDtransaction_time：交易时间（时间戳）transaction_amount：交易金额product_category：商品类别payment_method：支付方式（如信用卡、支付宝、微信等）is_fraud：是否为欺诈行为（目标变量）目标。
2024-11-12 20:51:26
1053
1
原创 模型训练耗时最多的部分特征工程方法总结：从数据到知识的转化
特征工程是机器学习过程中最关键的部分之一。它指的是通过提取、清洗、转化和优化原始数据中的特征，使其适应机器学习模型的输入要求，并最大化模型的预测能力和性能。特征工程本质上是将原始的、非结构化的或半结构化的数据转化为结构化数据，以便可以通过机器学习模型进行有效的学习。
2024-11-12 20:44:09
647
原创 【金融电商风控】-决策树与随机森林在欺诈检测中的效果、训练难易和其他特性的比较分析
通过对一系列用户行为特征（如购买金额、购买时间、退货频率、购买商品类别等）进行分析，决策树可以找到这些特征与欺诈行为之间的关系，从而判断用户的行为是否异常。决策树是一种基于树形结构的分类算法，根节点表示数据的分裂条件，分支表示特征的不同取值，叶节点表示最终的分类结果。随机森林通过构建多个决策树并综合它们的预测结果，能够综合考虑多个特征的影响，识别出潜在的欺诈行为。它通过集成多个决策树的结果来减少过拟合的风险，尤其在处理电商平台的欺诈检测时，能够更好地识别复杂的欺诈模式和不同特征之间的交互关系。
2024-11-12 20:17:55
624
原创 【电商风控-反欺诈检测】Python实现：决策树与随机森林在欺诈检测中的应用比较
通过Python代码实现了决策树和随机森林算法在欺诈检测中的应用。决策树模型易于理解，但在复杂数据集上可能过拟合。随机森林则通过集成多棵决策树，提高了模型的鲁棒性和准确性。您可以根据数据集的特征和问题的复杂度来选择适合的算法，并进一步优化模型的超参数来提升性能。
2024-11-12 20:08:32
619
原创 【金融风控】贷款申请欺诈检测：逻辑回归算法的实现方法和案例-附python代码
通过训练一个逻辑回归模型，我们可以对每个贷款申请人的信用评分、收入、工作状态、贷款记录等进行评估，预测其是否有欺诈风险。贷款欺诈检测模型的目的是基于申请人的个人信息、信用记录等多维特征，对申请的真实性进行预测，并减少金融机构的损失。为了构建一个有效的贷款欺诈检测模型，首先我们需要从贷款申请人的数据中提取出一系列有意义的特征。我们首先模拟了一个包含10个样本的数据集，其中包括用户的年龄、收入、信用评分、贷款金额、工作状态等多个特征。：如果预测的欺诈概率较高，银行将触发进一步的人工审核。
2024-11-12 19:45:48
564
原创 贷款申请进行欺诈检测使用逻辑回归模型的注意事项和难点分析
在这种情况下，可能需要考虑更复杂的模型（如决策树、随机森林等），但这会牺牲一定的可解释性。然而，金融行业对模型的透明度要求较高，尤其是在涉及欺诈检测时，银行和监管机构需要能够理解模型的决策依据。例如，收入水平、贷款申请频率等特征对欺诈行为的影响程度，系数的符号（正或负）和大小可以帮助解释模型的行为。：由于逻辑回归是基于梯度下降进行优化的算法，特征之间的尺度差异可能会影响模型的收敛速度和性能。：在保护用户隐私的同时，如何确保数据能够提供足够的价值用于训练高效的模型，是一个需要平衡的难点。
2024-11-12 19:36:24
798
原创 反欺诈-信用卡欺诈风险检测：逻辑回归的完整实现 python
1. 数据理解与目标在信用卡欺诈检测中，我们的目标是构建一个模型，该模型能够根据用户的交易数据预测每笔交易是否为欺诈。。特征工程的步骤十分重要，它有助于提升模型的性能和精度，重要的话讲三遍 ，。
2024-11-12 19:19:01
1044
原创 【知识图谱专刊：语义建模与本体论（三）】
在知识图谱的构建过程中，本体建模是一个至关重要的步骤。它提供了对某一领域内概念和关系的精确描述。在语义网中，本体用于定义领域内的知识结构，确保数据能够被计算机系统理解并加以推理。本体建模是知识共享和交换的基础，通过本体的结构化描述，系统可以进行智能推理，从而在不同数据源间实现语义互操作。
2024-11-12 16:45:17
263
原创 【费用流模型Cost Flow Model-怎么预测最优的成本方案】-图论
通过绘制费用流转路径，企业可以清楚地了解哪些环节的费用较高，哪些环节则是费用的主要来源。费用流模型通过对各个部门和业务环节的费用进行可视化呈现，财务管理层能够快速识别出关键的费用来源。通过动态更新费用流转数据，管理者可以随时掌握各部门的费用消耗情况，快速发现异常并进行调整，避免不必要的费用超支。费用流模型通过图形化的方式将企业的费用流动透明化，帮助管理者全面了解企业各个环节的成本结构。如果你希望你的企业能够优化成本控制、提高决策效率，不妨考虑构建一个适合自己需求的费用流模型，它将为你的企业带来长远的收益。
2024-11-12 16:17:18
474
原创 《自动问答系统设计方案与实现样例：基于Python的完整代码》-智能客服
自动问答系统（QA系统）是一个人工智能系统，能够从大量信息中自动理解和生成答案。一般来说，QA系统可以分为以下两类：基于检索的问答系统：此类系统通过从预定义的文档集合中检索相关信息来生成答案。常见的做法是基于信息检索技术，如TF-IDF、BM25等算法，来找出与问题最相关的文档片段。基于生成的问答系统：此类系统不仅检索信息，还能够生成新的答案。它通常依赖于深度学习模型，尤其是预训练的语言模型（如BERT、GPT）来生成答案。
2024-11-12 15:52:29
2141
原创 《利用CTR算法预测电商广告投放效果：Python实现完整案例》
我们介绍了如何利用CTR算法预测电商广告投放的效果。通过数据预处理、特征工程、模型训练和评估，我们成功构建了一个广告点击率预测模型，并用随机森林进行了实现。该模型可以帮助电商平台在广告投放过程中，预测广告的点击概率，从而优化广告资源的分配，提升广告投放的转化率。实际应用中，CTR预测模型不仅可以应用于电商广告，还可以在各类在线平台中进行个性化推荐、搜索优化等业务中发挥重要作用。
2024-11-12 15:34:59
932
原创 图模型-Minimum-cost Network Flow Model（最小成本网络流模型）-最优费用计算
最小成本网络流模型通过综合考虑流量的成本和容量限制，在网络中寻找最优的流动分配方案。通过合理设计网络结构与成本函数，可以帮助企业或组织在运输、物流、通信等多种场景中优化资源使用，减少成本并提升效率。为了实现最小成本网络流问题的求解，我们可以使用一个常见的算法——最小费用最大流算法（Min-Cost Max-Flow）。这里我们使用 Python 语言和 NetworkX 库来实现这个问题。NetworkX 提供了高效的图论算法，包括最小费用流算法。安装依赖。
2024-11-12 13:51:52
1415
2
原创 基于生成对抗网络（GAN）模型的图像生成完整案例
GAN的基本思想是通过两个神经网络的对抗训练来生成样本数据。生成器（Generator）：生成器的目标是从噪声数据中生成尽可能真实的图像。生成器通过接收随机噪声（通常是一个低维的向量）作为输入，经过一系列的神经网络层，输出一个“伪造”的图像。判别器（Discriminator）：判别器的目标是判断输入的图像是真实图像还是生成器生成的伪造图像。判别器接受图像作为输入，并输出一个概率值，表示图像的真实性。生成器和判别器是通过对抗的方式训练的。
2024-11-11 19:43:58
1821
原创 Transformer解决在小样本学习的问题 -附实现代码python
Transformer在小样本学习中的应用展示了其在处理有限样本数据时的强大能力。通过结合迁移学习、元学习、多任务学习等方法，Transformer可以在小样本任务中实现良好的泛化性能。然而，仍有许多挑战需要解决，比如如何进一步减少模型的计算复杂度、如何更高效地利用少量样本等。
2024-11-11 19:29:17
1463
原创 Transformer模型的改进与优化
Transformer的核心思想是自注意力机制（Self-Attention），它通过计算输入序列各个位置之间的关系来捕捉全局信息，克服了传统RNN和LSTM模型只能处理局部信息的局限。Transformer模型包括以下几个核心模块：自注意力机制（Self-Attention）：用来衡量序列中每个词与其他词之间的关系，并通过加权平均的方式产生新的表示。多头注意力机制（Multi-Head Attention）：通过并行计算多个注意力头，使模型能够在不同子空间内捕捉信息。
2024-11-11 19:19:39
1320
原创 《Transformer的多模态应用》-基于Transformer的视觉-语言任务：图像描述生成
Transformer架构首次提出于2017年，彻底颠覆了之前以RNN和CNN为主的序列建模方式。Transformer的核心组件包括自注意力机制（Self-Attention）、位置编码（Positional Encoding）和多头注意力机制（Multi-Head Attention）。自注意力机制：使模型能够通过加权求和的方式捕捉序列中各个元素之间的相互关系。位置编码：由于Transformer本身不具备序列顺序的建模能力，因此引入位置编码来表示元素在序列中的位置信息。
2024-11-11 19:09:56
1403
原创 《基于Transformer的应用领域和应用场景》
Transformer架构的核心思想是通过“自注意力机制”（Self-Attention）来捕捉序列中元素之间的依赖关系，而不依赖于传统的RNN或CNN架构。其主要组件包括：编码器（Encoder）：负责处理输入的序列信息，包含多个相同的编码层，每个编码层包括自注意力机制和前馈神经网络。解码器（Decoder）：解码器的作用是根据编码器的输出，生成目标序列。同样，解码器也由多个相同的解码层组成，其中每个解码层除了包含自注意力和前馈神经网络外，还包括编码器-解码器注意力机制。
2024-11-11 19:01:44
2433
原创 强化学习算法中的数据处理方法和注意事项
强化学习中的数据处理是整个训练过程中至关重要的环节，它涵盖了数据的采集、存储、预处理和利用等多个方面。通过合理的数据处理策略，可以帮助智能体更高效地学习，提升训练的稳定性和速度。在实践中，尤其是在复杂的环境下，合理选择数据存储结构（如经验回放池）、对状态和奖励进行合适的预处理、并利用有效的算法进行训练，都是强化学习成功的关键。
2024-11-11 00:18:41
1477
原创 强化学习实战案例：从理论到应用
DQN 模型包含一个深度神经网络，用于逼近 Q 值函数。python])评估指标 说明 优点 缺点累积奖励 智能体在回合中的总奖励 简单直观，易于计算 不能反映每个回合的学习质量，不考虑探索与利用的平衡平均奖励 在多个回合中的平均奖励 能平滑波动，反映长期表现 在不平衡的任务中可能会忽略某些极端情况回合长度 智能体完成任务所需的时间步数 反映智能体的控制能力或任务完成效率 与环境的复杂度和任务的目标有关，可能不具备普适性。
2024-11-10 23:59:26
2472
2
原创 XGBoost算法调参方法和注意事项：实战案例解析
XGBoost 是一种基于决策树的集成算法，它使用梯度提升（Gradient Boosting）的思想，将多个弱学习器（决策树）组合成一个强学习器。XGBoost 在提高模型精度的同时，提供了多种优化功能，如正则化、剪枝、并行计算等。XGBoost的核心优势：高效性：XGBoost 通过列抽样和并行计算等技术大大提高了训练效率。准确性：通过梯度提升方法，XGBoost 可以非常有效地减少误差并提高准确性。灵活性：支持回归、分类、排序等任务，且能够处理稀疏数据。python。
2024-11-10 23:35:54
1466
原创 金融风控领域随机森林模型建模与数据处理 全套数据处理和完整训练代码python
金融风控领域的机器学习模型，尤其是信用评分、欺诈检测、违约预测等任务，通常需要处理复杂的数据集。这些数据集包含了大量的特征（如个人信息、交易记录、账户历史等），同时也可能存在缺失值、类别不平衡以及高维特征等问题。在本案例中，我们使用一个经典的信用卡欺诈检测数据集来构建随机森林模型。数据集包含了每个交易的相关信息，包括交易金额、交易时间、地理位置等特征，并且标签（Class）表示该交易是否为欺诈（1为欺诈，0为正常）。数据集的特点如下：特征维度：包含30个匿名化的特征和标签列。
2024-11-09 12:29:11
1603
2
原创 金融风控-随机森林建模难点与调参注意事项
随机森林在金融风控中的应用非常广泛，尤其是在欺诈检测、信用评估等任务中。本文介绍了使用随机森林进行建模的常见难点及调参技巧，并提供了一个完整的案例，展示了如何在金融风控中应用随机森林模型。通过调整关键参数、使用过采样技术以及网格搜索优化模型，可以显著提高模型的性能。
2024-11-09 12:05:49
1319
原创 智能识别在风控中的应用-金融欺诈检测-python 随机森林算法实现代码
*智能识别（Intelligent Recognition）**是指通过机器学习、深度学习等方法，从大量的数据中提取潜在的有价值信息，以帮助识别各种类型的风险。智能识别技术可以自动分析数据、检测异常、识别模式，并做出相应的预测和判断。**常用技术：**常见的智能识别技术包括机器学习（如分类、）等。：例如在金融欺诈检测中，通过分析历史交易数据，识别出哪些交易可能存在异常行为；在信贷审批中，通过客户的过往信用记录、交易习惯等信息，预测是否存在违约风险。
2024-11-09 11:53:39
329
原创 机器学习介绍-机器学习课程整理（1）
Python编程基础复习NumPy、Pandas数据处理库数据清洗与预处理（缺失值处理、数据归一化、特征选择）理论讲解：每个主题的核心概念、算法原理与数学基础实践操作：通过Jupyter Notebook和Python实践每个算法，解决实际问题案例分析：结合实际数据集进行案例分析（如：金融风控、医疗诊断、推荐系统等）
2024-11-08 18:53:15
367
原创 知识图谱：图数据库与图论基础（二）
图数据模型是一种通过图结构表示和存储数据的方法。在这种模型中，节点（也叫“顶点”）代表数据实体，边（也叫“连线”或“关系”）表示节点之间的关系，而属性则描述节点和边的具体特征。图数据模型能够自然地表达复杂的关系，例如社交网络中的朋友关系、电子商务中的商品推荐、物联网中的设备连接等。节点（Vertex）：表示实体。例如，在社交网络中，节点可能代表一个用户；在物流网络中，节点代表一个仓库。边（Edge）：表示实体之间的关系。例如，在社交网络中，边表示用户之间的朋友关系；
2024-11-08 18:24:37
245
原创 知识图谱基础与核心概念：知识图谱概述与发展历程（一）
库不同，知识图谱不仅仅是数据的存储结构，而是通过构建知识网络来实现对实体和关系的建模。它由实体、关系和属性三部分构成，利用图形化的数据结构连接和组织大量的复杂信息。知识图谱作为一种强大的知识管理与推理工具，正在各行各业得到广泛应用。从构建知识图谱的基础原理到图推理与智能应用，再到前沿的技术发展，知识图谱的潜力无穷。在未来，随着大数据、人工智能技术的进一步发展，知识图谱的应用将更加广泛，推动社会生产力的提升。
2024-11-08 17:18:27
530
原创 反欺诈算法 - 知识图谱最短路径算法-初识
最短路径算法能够有效地揭示潜在的欺诈链条，但由于该算法仅仅关注图中最短路径，可能会漏掉一些复杂的欺诈行为，特别是那些涉及多个中间节点的路径。通过输出最短路径和路径的总权重（即总风险），我们可以识别从一个账户到另一个账户之间的关系，并通过风险值评估该路径的可疑性。常用的最短路径算法包括Dijkstra算法，它可以计算从一个节点到所有其他节点的最短路径，也可以计算两个指定节点之间的最短路径。追踪资金流向：通过识别资金从一个账户到另一个账户的最短路径，揭示资金的流动路径，帮助发现资金转移中的可疑行为。
2024-11-08 16:58:24
353
原创 风控反欺诈算法之图算法与社交网络分析-附带python实现代码
通过分析社交网络中的结构，图算法能够识别出孤立的节点或群体，找出不均衡的连接分布。例如，通过计算图的直径或评估网络的连通性，我们可以发现社交网络中存在的潜在问题，并通过优化连接结构提高用户互动和平台活跃度。通过分析图中节点的中心性，我们可以识别出传播链条中的关键节点（例如，网络中的核心用户或影响力大的人物），从而优化传播策略，达到更好的营销效果。中心性分析：通过度中心性、介数中心性和接近中心性，我们能识别社交网络中的关键节点，例如社交网络中的"明星用户"或"信息传播者"
2024-11-08 16:33:58
778
原创 营销反作弊之 异常行为分析模型（一），附带python代码
通过对用户行为进行深入的分析，识别出与常规模式不符的异常行为，可以有效检测并阻止虚假广告点击、刷单、点击欺诈等欺诈行为。本文将详细探讨营销反欺诈中异常行为分析的方法，介绍如何通过数据采集、清洗、行为建模与异常检测，准确识别潜在的欺诈行为，并提供 Python 实现代码示例。**监督学习 (Supervised Learning)：**在标注数据的帮助下，训练机器学习模型使其能预测未知数据的结果。营销反欺诈异常行为分析的整体流程涉及多个环节，确保通过对用户行为的深入分析，及时识别潜在的欺诈行为。
2024-11-07 14:30:03
468
原创 营销反作弊异常行为分析模型：方法、模型实现与效果评估（二）反薅羊毛，反欺诈算法，附带python实现代码
随着数字营销的快速发展，营销活动中的作弊行为日益增多，影响了品牌的公信力和营销效果。营销反作弊技术应运而生，成为了确保营销活动公正性的重要手段。本文将探讨营销反作弊的技术原理、架构以及实际应用，重点介绍如何通过算法手段有效识别和防范营销作弊行为，并提供实际代码示例。营销反作弊的整体架构流程主要分为以下几个步骤：数据采集与监控：通过数据采集和监控系统，实时收集用户的活动数据，如点击、浏览、购买等行为。异常行为分析：基于机器学习和规则引擎，分析用户行为是否符合正常模式，识别出可能的作弊行为。
2024-11-07 13:57:45
1232
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人