Python数据挖掘

掌握 PyTorch 中的 CUDA 技术，是开启高性能深度学习的重要一步。当你理解并应用这些技术时，能够有效提升模型的训练和推理速度。高效利用GPU，不仅依赖强大的硬件，更在于合理的编码实践！在后续使用 CUDA 和 PyTorch 的过程中，要持续探索和尝试。GPU 计算领域持续发展，不断更新最佳实践，紧跟这些最新进展，会为你的深度学习项目带来更好的性能表现。

使用将函数应用于每个分组。使用将自定义函数应用于每个元素。使用df.apply()按元素应用函数。

ChatGPT 相信大家都用过，你觉得它给你的工作带来了多少帮助呢？目前我们使用 ChatGPT 的方式是通过浏览器访问 chat.openai.com，然后输入问题，就像下面这样。除了网页之外，ChatGPT 还提供了 API 接口，让我们可以在程序中访问 GPT 模型。需要注意的是，如果使用网页，那么 GPT 3.5 是免费的，GPT 4 则是一个月收费 20 美元。但如果要通过 API 来访问 GPT 模型，那么不管什么版本都是收费的，至于费用多少则取决于 token 的数量。

年底了，在技术群发起了一个校招的技术&面试讨论会，去年参加秋招的小伙伴讨论比较积极，一部分人也很开心，拿到了理想的Offer。根据讨论，整理了一部分大厂的秋招面经，根据残缺的记忆整理，写的比较简单，供大家参考，希望对大家的春招和下一届的小伙伴有帮助。好好生活，会有工作的！

时间序列预测是各个领域中的关键任务，包括金融、销售和能源需求等。准确的预测使企业能够做出明智的决策，优化资源，并有效地规划未来。近年来，XGBoost 算法因在时间序列预测任务中表现出色而备受青睐。本文探讨了 XGBoost 在时间序列预测中的强大功能、其优势以及如何有效利用它进行准确预测。

最近技术群的同学，分享了面试数据挖掘/算法岗(实习)的经验。

最近技术群的一位同学，分享了他面试快手数据分析师岗(实习)的经验。我看了一下面试题，说实话内容不难，他直言没有认真准备。

K-fold 交叉验证就是把原始数据随机分成 K 个部分，在这 K 个部分中选择一个作为测试数据，剩余的 K-1 个作为训练数据。交叉验证的过程实际上是将实验重复做 K 次，每次实验都从 K 个部分中选择一个不同的部分作为测试数据，剩余的数据作为训练数据进行实验，最后把得到的 K 个实验结果平均，用于评价模型的泛化能力，从而进行模型选择。

大家好，最近很多小伙伴私信我，讲一下数据分析的面试题，今天给大家整理了48道数据分析师面试时被频繁问到的题目，找数据分析岗位的同学一定要码住认真看。

今天分享了一些令人难以置信的 Jupyter 技巧。我相信这些提示将提升您的Python编程效率。

一致的软件包安装：Poetry为安装任何软件包提供一致的格式，确保整个项目采用标准化的方法。丰富的软件包选择：Poetry提供对PyPI上大量软件包的访问，使您能够利用项目的多样化生态系统。高效的依赖管理：Poetry仅安装指定软件包的必要依赖项，减少环境中不相关软件包的数量。简化的软件包移除：Poetry简化了软件包及其相关依赖项的移除过程，使得维护一个干净和高效的项目环境变得容易。依赖解决：Poetry的确定性解析器有效解决依赖关系，迅速识别和处理任何不一致或冲突。

大家好，今天给大家分享一下，花费2周时间整理的Python自动化办公库。本次内容涵盖了Excel、Word、PPT、ODF、PDF、邮件、微信、文件处理等所有能在办公场景实现自动化的库，希望能够对大家有所帮助。

探索性数据分析（Exploratory Data Analysis, EDA）是数据分析过程中的关键步骤，通常通过视觉和统计方法检查和理解数据集的主要特征。识别模式和异常：发现模式可以带来洞察力，而异常则可能表明数据质量问题或有趣的异常值。提出假设：在初步探索的基础上，你可以对观察到的现象的原因提出假设。检查假设：EDA 对于验证或挑战统计模型或机器学习模型所做的假设很有用。为进一步分析做准备：清洗、转换并选择正确的特性，以便进行更深入的分析或建模。描述性统计。

先来进行一个简单的介绍，回归算法的重要性体现在其能够建立特征与目标之间的关系模型，实现预测、关系分析和特征重要性评估等多方面的应用。通过回归分析，我们能够理解变量之间的趋势、检测异常值、为决策提供支持，并在时间序列中进行趋势分析，为数据科学和实际问题提供有力的工具。

这几天，很多人私聊，说是放假在学习算法，巩固算法知识点，方面后续春招面试使用。咱们今天就从下面7种算法模型为出发点，进行总结性的介绍，分别汇总核心的公式、优缺点以及最适用的场景方面介绍。

平台采用B/S结构，后端采用主流的Python语言进行开发，前端采用主流的Vue.js进行开发。整个平台包括前台和后台两个部分。前台功能包括：首页、宠物详情页、用户中心模块。后台功能包括：总览、订单管理、宠物管理、分类管理、标签管理、评论管理、用户管理、运营管理、日志管理、系统信息模块。

在进行数据科学时，可能会浪费大量时间编码并等待计算机运行某些东西。所以我选择了一些 Python 库，可以帮助你节省宝贵的时间。

SHAP概念由Lundberg & Lee于2017年提出，但实际上是基于早在此之前存在的博弈论Shapley值。简而言之，SHAP值通过计算每个特征的边际贡献来工作，方法是在许多有和没有该特征的模型中查看（每个观察值的）预测，根据每个这些减少特征集模型中的权重计算这种贡献，然后总结所有这些实例的加权贡献。在这里，简单地说：对于一个观察值而言，SHAP值的绝对值越大，影响预测的作用就越大。因此，对于给定特征的所有观察值的绝对SHAP值的平均值越大，该特征就越重要。

PyGWalker可以有效简化Jupyter笔记本的数据分析和数据可视化工作流程，方法是将panda数据帧转换为Tableau风格的用户界面进行可视化探索。PyGWalker被命名为“的Python绑定”的缩写。它集成了Jupyter笔记本（或其他基于Jupyter的笔记本）和，后者是Tableau的另一种开源替代品。它允许数据科学家通过简单的拖放操作分析数据并可视化模式。

平台采用B/S结构，后端采用主流的Python语言进行开发，前端采用主流的Vue.js进行开发。整个平台包括前台和后台两个部分。前台功能包括：首页、景区详情页、门票购买、用户中心模块。后台功能包括：总览、订单管理、景区管理、分类管理、标签管理、评论管理、用户管理、运营管理、日志管理、系统信息模块。

通过掌握这六个必知的PyCharm实用技巧，可以提高开发效率，减少重复劳动，并更好地利用PyCharm的功能。无论是初学者还是有经验的开发者，这些技巧都将帮助你更加轻松地进行Python开发。

在风控环节中，传统观念A卡为主、B卡C卡为辅，但是在市场逐步饱和、政策利率要求越来越低的背景下，B卡和C卡也越来越重要。本文以简易贷后数据实战催收评分模型，预测在用户逾期后、未来能否催回。数据来源某比赛网站，包括逾期用户的年龄、收入情况、家庭人员数、债务情况、历史逾期情况等等，预测变量为订单是否会逾期90天+，数据集中均为数值型变量、且字段较少，所以适合零基础、初学者上手练习。计算iv及特征缺失率，可以看到仅有两个变量存在少部分缺失，其中历史的逾期变量iv整体偏高。‍。

数据来源某比赛网站（下图仅为部分字段），该数据集包含有关葡萄牙银行机构电话营销活动的信息，为了评估产品（银行定期存款）是否会被认购，通常需要与同一客户进行多次联系，最终电话营销后是否进行定期存款为目标变量，以此来识别哪些是营销响应的客户，通过训练模型可以预测出未来哪些客户响应概率高、从而优化电话营销动作的人力配置。文末获取数据集。

上面的这些包可以在Jupyter Notebook中将dataframe转换为交互式表。Itables 和Qgrid比较轻量，可以让我们快速的查看数据，但是如果你想进行更多的操作，例如生成一些简单的可视化图表，那么Pivottablejs和Pygwalker是一个很好的工具。

大家好，今天给大家分享一个招聘分析系统，使用的技术有：Pycharm + Python3.7 + Requests库爬取 + Mysql + Echarts首页有各类图表的综合分析，用户在打开招聘分析系统后在首页就能看到相应的图表分析。通过后端的爬虫程序在各类在线平台或者招聘网站上获取的数据信息，保存到mysql数据库表，再经过可视化技术传回给前端界面，就能实现饼图、直方图、折线图、扇图等丰富的展示形式。

优化超参数始终是确保模型性能最佳的关键任务。通常，网格搜索、随机搜索和贝叶斯优化等技术是主要使用的方法。今天分享几个常用于模型超参数优化的 Python 工具包，如下所示：scikit-learn：使用在指定参数值上进行的网格搜索或随机搜索。HyperparameterHunter：构建在scikit-learn之上，以使其更易于使用。Optuna：使用随机搜索、Parzen估计器（TPE）和基于群体的训练。Hyperopt：使用随机搜索和TPE。

这个扩展通过提供自动代码完成建议来提高编码效率。Hinterland提供了一个潜在匹配列表，加快了编码过程，这在处理长或复杂的函数名时特别有用。它减少了打字错误和语法错误的可能性，简化了开发工作流程。使用 Jupyter Notebook 可以方便地进行数据探索、模型训练、报告撰写等任务。而扩展组件可以扩展Jupyter Notebook 的基本功能，无论是在操作数据、可视化趋势还是展示发现，扩展都可以增强工作流程，使数据科学工作更加简便和高效。

reportlab是Python的一个标准库，可以画图、画表格、编辑文字，最后可以输出PDF格式。它的逻辑和编辑一个word文档或者PPT很像。有两种方法：1）建立一个空白文档，然后在上面写文字、画图等；2）建立一个空白list，以填充表格的形式插入各种文本框、图片等，最后生成PDF文档。因为需要产生一份给用户看的报告，里面需要插入图片、表格等，所以采用的是第二种方法。

Jupyter 是一种功能强大的交互式计算环境，被广泛应用于数据分析、机器学习、科学计算等领域。除了常见的基本功能外，Jupyter还隐藏着许多令人惊叹的黑科技，这些功能可以帮助用户更高效地完成工作，提升工作体验。在本文中，我来总结了5个Jupyter黑科技，与大家分享按照老规矩，

处理不平衡数据对于建立准确的机器学习模型至关重要。这些Python库提供了各种技术来应对这一问题。根据你的数据集和问题，可以选择最合适的方法来有效地平衡数据。

机器学习是一门强大的工具，可以用于解决各种各样的问题。通过学习机器学习，您可以开发出能够自动化任务、做出预测甚至创造艺术的应用程序。如果您是一名 Python 开发人员，那么您将很高兴知道，有许多可以用 Python 构建的有趣机器学习应用程序。在本博客文章中，我们将介绍 10 个这样的应用程序。

为了训练我们的神经网络，我们需要定义一个损失函数和一个优化算法。在这个例子中，我们使用损失函数和PyTorch提供的Adam优化器。我们还使用方法将模型参数传递给优化器。在本教程中，我们已经了解了如何使用PyTorch建立一个用于图像分类的简单神经网络。我们首先加载了MNIST数据集，进而定义了神经网络的架构。然后，我们使用训练数据对模型进行了训练，并评估了它在测试数据上的表现。我们还讨论了一些重要的概念，例如设备放置、前向和后向传递、损失函数和优化算法。

在本文中，我们介绍了如何使用库创建、编辑和转换PPT文件。这个库非常简单易用，并且提供了完整的文档。如果需要操作PPT文件，这个库是非常好的选择。

Polars 的目标是提供一个闪电般快速的。

经过 5 个月的更新迭代，Keras 3.0 终于来了。「大新闻：我们刚刚发布了 Keras 3.0 版本！」Keras 之父 François Chollet 在 X 上激动的表示。「现在你可以在 JAX、TensorFlow 以及 PyTorch 框架上运行 Keras……」对于这一更新，Keras 官方表示，这一版本足足花了他们 5 个月的时间进行公测才完成。

通过对厦门景点介绍文本进行词云图绘制，我们很容易看出厦门的特点。典型的海滨休闲城市，帆船、鼓浪屿、游艇等词被大量提及，建筑、博物馆等词也有一定提及，体现出厦门浓厚的人文气息。#绘制词云图size=653,

本文向您介绍了时间序列分析的四个基本Python库:statmodels、tslearn、tssearch和tsfresh。时间序列分析是金融和医疗保健等各个领域的重要工具，在这些领域，我们需要了解数据随时间的变化趋势，以便做出明智的决策和预测。每个库都专注于时间序列分析的不同方面，选择哪个库取决于具体问题。通过结合使用这些库，可以处理各种与时间相关的挑战，从预测财务趋势到对医疗保健中的活动进行分类。当要开始自己的时间序列分析项目时，请记住这些库，结合着使用它们可以帮助你解决很多的实际问题。

Pandas 是Python数据分析处理的核心第三方库，它使用二维数组形式，类似Excel表格，并封装了很多实用的函数方法，让你可以轻松地对数据集进行各种操作。技术群的小伙伴自动发起，一起梳理了 Pandas 中常用的函数和方法，今天分享给大家，方便大家查询使用。

cuDF是一个基于Apache Arrow列内存格式的Python GPU DataFrame库，用于加载、连接、聚合、过滤和其他数据操作。cuDF还提供了类似于pandas的API。cuDF是一个Python GPU DataFrame库，它基于Apache Arrow的列式内存格式，用于加载、连接、聚合、过滤和以类似pandas的DataFrame风格API操纵表格数据。它允许数据工程师和数据科学家通过类似于pandas的API轻松加速其工作流程，而无需深入研究CUDA编程的细节。

今天给大家介绍一个聚类和降维结合的项目，分为两块内容：直接使用原数据，经过数据预处理和编码后，基于原生的K-Means和PCA/T-SNE实现用户的聚类使用基于Transformer的预训练模型转换后的高维数据，再使用K-Means和PCA/T-SNE实现用户的聚类本文先介绍第一种方案的完整过程。