Python数据挖掘

薪资真香、技术难度真大、要求真的很全面，但不是没有方法可循、可借鉴的。业务知识 + 专业知识 + 编程基础能力+刷题(LeetCode/剑指Offer) + 项目 + 实习 + 竞赛 +顶会/顶刊+学校针对岗位要求，我在知识星球和《算法面试宝典》中详细给大家介绍。让加入的朋友了解最前沿的知识点，有问题给予专业指导，少栽跟头。这份《算法面试宝典》，文档字数 30w+，我们也在一直更新，涵盖算法岗的方方面面，相信你读完并思考实践后，你一定能有所收获。

掌握 PyTorch 中的 CUDA 技术，是开启高性能深度学习的重要一步。当你理解并应用这些技术时，能够有效提升模型的训练和推理速度。高效利用GPU，不仅依赖强大的硬件，更在于合理的编码实践！在后续使用 CUDA 和 PyTorch 的过程中，要持续探索和尝试。GPU 计算领域持续发展，不断更新最佳实践，紧跟这些最新进展，会为你的深度学习项目带来更好的性能表现。

Bagging 通过在原始数据集的随机子集上训练多个基本模型，并对它们的预测结果进行平均或投票来减少方差。

节前，我们社群组织了一场技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学，针对新手如何机器学习算法、企业级落地场景、大模型的发展趋势与落地实践、新人该如何备考、面试常考点等热门话题进行了深入的讨论。今天我整理了一个同学的机器学习算法岗面试题，分享给大家，希望对后续找工作的有所帮助。

关于 Pytorch ，我之前分享过很多篇，至于为什么今年这么重视 Pytorch ，熟悉大模型、算法的小伙伴都应该知道。大部分的大模型开发语言都是Pytorch。废话不多说。转入正题。在某些情况下，你可能需要使用 PyTorch 进行一些高级的索引和选择操作，例如回答这样的问题：“如何根据张量B中指定的索引来从张量A中选择元素？在本文中，我们将介绍三种最常见的用于此类任务的方法，即torch.index_select、torch.gather和torch.take。我们将详细解释它们，并对它们进行对比。

节前，我们社群组织了一场技术&面试讨论会，邀请了一些互联网大厂同学、参加社招和校招面试的同学，针对新手如何入门机器学习算法、该如何备战、面试常考点分享等热门话题进行了深入的讨论。基于社群的讨论，今天我整理了一个同学的面试题，分享给大家，希望对后续找工作的有所帮助。

节前，我们社群组织了一场机器学习算法岗技术&面试讨论会，邀请了一些互联网大厂同学、参加社招和校招面试的同学，针对机器学习算法岗技术趋势、项目经验分享、新手如何入门机器学习算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。基于社群的讨论，今天我整理一下机器学习算法岗方向面试题，分享给大家，希望对后续找工作的有所帮助。

先介绍下个人情况，本科金融，辅修数学，研究生转应用统计，主要申算法去岗，从今年三月开始找暑期实习开始，一直在看群内大佬们的各种面经，收获满满。现在总结了一下各种面试回报大家。

年底了，技术群组织了一场机器学习算法岗技术&面试讨论会，邀请了一些同学分享他们的面试经历，讨论会会定期召开，，下文是我们邀请的一位同学的写的都说2023年是互联网寒冬，亲身真正经历后来看，深圳寒冬这说法完全不过分。深圳互联网厂太少了，动不动就是锁hc。写在开头的建议：真心建议面试前/投简历时先了解清楚在招的岗位是否和自己的能力、职业规划匹配！！如果JD信息不明确，建议先提前沟通清楚，避免面试过程发现不是自己想做的，会很浪费精力（面不过影响情绪，面过也容易被养鱼），还错过了投其他岗位的黄金时间。

年底了，技术群组织了一场机器学习算法岗技术&面试讨论会，邀请了一些同学分享他们的面试经历，讨论会会定期召开，

年底了，技术群组织了一场算法岗技术&面试讨论会，邀请了一些同学分享他们的面试经历，讨论会会定期召开，

时间序列预测是各个领域中的关键任务，包括金融、销售和能源需求等。准确的预测使企业能够做出明智的决策，优化资源，并有效地规划未来。近年来，XGBoost 算法因在时间序列预测任务中表现出色而备受青睐。本文探讨了 XGBoost 在时间序列预测中的强大功能、其优势以及如何有效利用它进行准确预测。

今天分享了一些令人难以置信的 Jupyter 技巧。我相信这些提示将提升您的Python编程效率。

大家好，今天给大家分享除了基本的 NumPy、Pandas 和 Matplotlib 之外的 10个流行的数据分析 Python 库。

探索性数据分析（Exploratory Data Analysis, EDA）是数据分析过程中的关键步骤，通常通过视觉和统计方法检查和理解数据集的主要特征。识别模式和异常：发现模式可以带来洞察力，而异常则可能表明数据质量问题或有趣的异常值。提出假设：在初步探索的基础上，你可以对观察到的现象的原因提出假设。检查假设：EDA 对于验证或挑战统计模型或机器学习模型所做的假设很有用。为进一步分析做准备：清洗、转换并选择正确的特性，以便进行更深入的分析或建模。描述性统计。

在进行数据科学时，可能会浪费大量时间编码并等待计算机运行某些东西。所以我选择了一些 Python 库，可以帮助你节省宝贵的时间。

SHAP概念由Lundberg & Lee于2017年提出，但实际上是基于早在此之前存在的博弈论Shapley值。简而言之，SHAP值通过计算每个特征的边际贡献来工作，方法是在许多有和没有该特征的模型中查看（每个观察值的）预测，根据每个这些减少特征集模型中的权重计算这种贡献，然后总结所有这些实例的加权贡献。在这里，简单地说：对于一个观察值而言，SHAP值的绝对值越大，影响预测的作用就越大。因此，对于给定特征的所有观察值的绝对SHAP值的平均值越大，该特征就越重要。

PyGWalker可以有效简化Jupyter笔记本的数据分析和数据可视化工作流程，方法是将panda数据帧转换为Tableau风格的用户界面进行可视化探索。PyGWalker被命名为“的Python绑定”的缩写。它集成了Jupyter笔记本（或其他基于Jupyter的笔记本）和，后者是Tableau的另一种开源替代品。它允许数据科学家通过简单的拖放操作分析数据并可视化模式。

在风控环节中，传统观念A卡为主、B卡C卡为辅，但是在市场逐步饱和、政策利率要求越来越低的背景下，B卡和C卡也越来越重要。本文以简易贷后数据实战催收评分模型，预测在用户逾期后、未来能否催回。数据来源某比赛网站，包括逾期用户的年龄、收入情况、家庭人员数、债务情况、历史逾期情况等等，预测变量为订单是否会逾期90天+，数据集中均为数值型变量、且字段较少，所以适合零基础、初学者上手练习。计算iv及特征缺失率，可以看到仅有两个变量存在少部分缺失，其中历史的逾期变量iv整体偏高。‍。

数据来源某比赛网站（下图仅为部分字段），该数据集包含有关葡萄牙银行机构电话营销活动的信息，为了评估产品（银行定期存款）是否会被认购，通常需要与同一客户进行多次联系，最终电话营销后是否进行定期存款为目标变量，以此来识别哪些是营销响应的客户，通过训练模型可以预测出未来哪些客户响应概率高、从而优化电话营销动作的人力配置。文末获取数据集。

上面的这些包可以在Jupyter Notebook中将dataframe转换为交互式表。Itables 和Qgrid比较轻量，可以让我们快速的查看数据，但是如果你想进行更多的操作，例如生成一些简单的可视化图表，那么Pivottablejs和Pygwalker是一个很好的工具。

当然，也有一部分朋友对Pytorch 是有一定的基础的，想进一步提升Pytorch的技术能力，特别是当前大模型的火热，把 Pytorch 彻底带火了。今天分享一个非常棒的资料：《PyTorch 模型训练性能调优宝典》他是解决PyTorch训练性能和效率问题的首选宝典。适用对象包括：AI/ML平台工程师、数据平台工程师、后端软件工程师、MLOps工程师、站点可靠性工程师、架构师、机器学习工程师以及任何希望掌握PyTorch性能调优技巧的专业人士。

大家好，今天给大家分享一个招聘分析系统，使用的技术有：Pycharm + Python3.7 + Requests库爬取 + Mysql + Echarts首页有各类图表的综合分析，用户在打开招聘分析系统后在首页就能看到相应的图表分析。通过后端的爬虫程序在各类在线平台或者招聘网站上获取的数据信息，保存到mysql数据库表，再经过可视化技术传回给前端界面，就能实现饼图、直方图、折线图、扇图等丰富的展示形式。

优化超参数始终是确保模型性能最佳的关键任务。通常，网格搜索、随机搜索和贝叶斯优化等技术是主要使用的方法。今天分享几个常用于模型超参数优化的 Python 工具包，如下所示：scikit-learn：使用在指定参数值上进行的网格搜索或随机搜索。HyperparameterHunter：构建在scikit-learn之上，以使其更易于使用。Optuna：使用随机搜索、Parzen估计器（TPE）和基于群体的训练。Hyperopt：使用随机搜索和TPE。

这个扩展通过提供自动代码完成建议来提高编码效率。Hinterland提供了一个潜在匹配列表，加快了编码过程，这在处理长或复杂的函数名时特别有用。它减少了打字错误和语法错误的可能性，简化了开发工作流程。使用 Jupyter Notebook 可以方便地进行数据探索、模型训练、报告撰写等任务。而扩展组件可以扩展Jupyter Notebook 的基本功能，无论是在操作数据、可视化趋势还是展示发现，扩展都可以增强工作流程，使数据科学工作更加简便和高效。

reportlab是Python的一个标准库，可以画图、画表格、编辑文字，最后可以输出PDF格式。它的逻辑和编辑一个word文档或者PPT很像。有两种方法：1）建立一个空白文档，然后在上面写文字、画图等；2）建立一个空白list，以填充表格的形式插入各种文本框、图片等，最后生成PDF文档。因为需要产生一份给用户看的报告，里面需要插入图片、表格等，所以采用的是第二种方法。

Jupyter 是一种功能强大的交互式计算环境，被广泛应用于数据分析、机器学习、科学计算等领域。除了常见的基本功能外，Jupyter还隐藏着许多令人惊叹的黑科技，这些功能可以帮助用户更高效地完成工作，提升工作体验。在本文中，我来总结了5个Jupyter黑科技，与大家分享按照老规矩，

是 PyTorch 中用于定义和搭建模型的基类。通过继承该类，可以创建自定义的深度学习模型。# 自定义模型类# 创建模型实例# 查看模型结构你可以通过继承类来创建自定义的损失函数。# 自定义损失函数类# 使用自定义损失函数你可以自定义模型参数的初始化方法。# 自定义初始化方法# 在模型中应用初始化方法你可以通过继承类来创建自定义学习率调度器。# 自定义学习率调度器类# 自定义学习率调度逻辑pass# 使用自定义学习率调度器继承类可以自定义数据加载器。# 自定义数据加载器类。

处理不平衡数据对于建立准确的机器学习模型至关重要。这些Python库提供了各种技术来应对这一问题。根据你的数据集和问题，可以选择最合适的方法来有效地平衡数据。

Keras 3.0 升级是对 Keras 的全面重写，引入了一系列令人振奋的新特性，为深度学习领域带来了全新的可能性。这一次，我准备了 20节 PyTorch 中文课程导入环境import os定义模型、加载数据集定义优化器训练模型epochs = 3print(step } : {step } : {step } : {step } : {step } : {.4fstep } : {step } : {step } : {1step } : {step } : {

PyTorch在nn模块中提供了各种预定义的层、损失函数和优化算法。PyTorch的10条原则为开发者提供了宝贵的指导，帮助他们在使用PyTorch进行深度学习时遵循最佳实践。这些准则涵盖了许多关键方面，如张量、动态计算图、自动微分、模块化神经网络。遵循这些原则可以提高代码的可读性、性能和可维护性，使开发者能够更好地利用PyTorch的强大功能。无论是初学者还是有经验的用户，都可以从这份指南中受益，提升他们在PyTorch中的深度学习项目的质量和效率。更多高级PyTorch内容可参见如下内容。

机器学习是一门强大的工具，可以用于解决各种各样的问题。通过学习机器学习，您可以开发出能够自动化任务、做出预测甚至创造艺术的应用程序。如果您是一名 Python 开发人员，那么您将很高兴知道，有许多可以用 Python 构建的有趣机器学习应用程序。在本博客文章中，我们将介绍 10 个这样的应用程序。

本书是我利用工作之余大概3个月写成的，大部分读者应该在20天可以完全学会。预计每天花费的学习时间在30分钟到2个小时之间。当然，本书也非常适合作为 Pytorch 的工具手册在工程落地时作为范例库参考。日期学习内容内容难度预计学习时间更新状态B站讲解一、Pytorch的建模流程⭐️0hour✅day11-1,结构化数据建模流程范例⭐️⭐️⭐️1hour✅day21-2,图片数据建模流程范例⭐️⭐️⭐️⭐️2hour✅day31-3,文本数据建模流程范例⭐️⭐️⭐️⭐️⭐️。

本文系数据挖掘实战系列文章，我跟大家分享一个数据挖掘实战，与以往的数据实战不同的是，用自动机器学习方法完成模型构建与调优部分工作，深入理解由此带来的便利与效果。

哈喽，这些天无论是社群还是私信，很多人希望看到更多关于深度学习基础内容，这篇文章想要分享的是关于pytorch的转换函数。建议大家一定要好好看看这部分，在平常的使用中，既多又重要！！当然在 PyTorch 中，转换函数的主要意义主要是用于对进行数据的预处理和数据增强，使其适用于深度学习模型的训练和推理。将不同格式的数据（如 PIL 图像、NumPy 数组）转换为 PyTorch 张量，以便能够被深度学习模型处理。例如，将图像转换为张量。将输入数据的值缩放到某个特定的范围。

为了训练我们的神经网络，我们需要定义一个损失函数和一个优化算法。在这个例子中，我们使用损失函数和PyTorch提供的Adam优化器。我们还使用方法将模型参数传递给优化器。在本教程中，我们已经了解了如何使用PyTorch建立一个用于图像分类的简单神经网络。我们首先加载了MNIST数据集，进而定义了神经网络的架构。然后，我们使用训练数据对模型进行了训练，并评估了它在测试数据上的表现。我们还讨论了一些重要的概念，例如设备放置、前向和后向传递、损失函数和优化算法。

哈喽，这几天老有人问，我该怎么才能最高效的学习机器学习算法？其实说白了，就是很多初学者比较迷茫，不知道该如何下手。想要在有限的时间范围内，更加高效的学到应该学到的知识。想要学到的知识能更快地应用于公司实践的项目、或者社招、校招面试中。

无代码数据科学工具通过可视化界面和自动化流程，使数据分析、建模和可视化等任务变得简单。本文介绍了7个强大的无代码数据科学工具，帮助您快速入门和探索数据科学领域。

当进行数据分析时，探索性数据分析(EDA)是一个至关重要的阶段，它能帮助我们从数据中发现模式、趋势和异常现象。而选择合适的EDA工具又能够极大地提高工作效率和分析深度。在本文中，笔者将介绍6个极其实用的探索性数据分析(EDA)工具，这些工具能够帮助您更好地理解数据、发现隐藏的信息，并为后续分析和决策提供有力支持。让我们一起来看看这些工具是如何帮助我们探索数据世界的吧！技术交流技术要学会交流、分享，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。好的文章离不开粉丝的分享、推荐，资料干货、资料分

在本文中，我们介绍了如何使用库创建、编辑和转换PPT文件。这个库非常简单易用，并且提供了完整的文档。如果需要操作PPT文件，这个库是非常好的选择。