Python数据挖掘

写在前面博文内容涉及基于 Deepseek LLM 的本地知识库搭建使用 ollama 部署 Deepseek-R1 LLM知识库能力通过 Ragflow、Dify 、AnythingLLM、Cherry 提供。

掌握 PyTorch 中的 CUDA 技术，是开启高性能深度学习的重要一步。当你理解并应用这些技术时，能够有效提升模型的训练和推理速度。高效利用GPU，不仅依赖强大的硬件，更在于合理的编码实践！在后续使用 CUDA 和 PyTorch 的过程中，要持续探索和尝试。GPU 计算领域持续发展，不断更新最佳实践，紧跟这些最新进展，会为你的深度学习项目带来更好的性能表现。

知道晋升被卡的结果，我开始重新登录 LeetCode，历时一个多月，面试了多家企业。经过多轮面试和准备，最后选择了小红书。

最近已有不少大厂都在秋招宣讲了，也有一些在 Offer 发放阶段。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新人如何快速入门算法岗、如何准备面试攻略、面试常考点、大模型项目落地经验分享等热门话题进行了深入的讨论。先两道题：两数之和（递增子序列），最长相同前缀挑一段和算法相关的项目经验进行介绍Xgboost和gbdt的区别有调参吗？目标是什么？Xgboost的损失函数是什么？L1loss和L2loss的区别？Xgboost，刚刚说了y，那么x呢？

最近已有不少大厂都在秋招宣讲了，也有一些在 Offer 发放阶段。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新人如何快速入门算法岗、如何准备面试攻略、面试常考点、大模型项目落地经验分享等热门话题进行了深入的讨论。今儿和大家聊聊GBDT、XGBoost和LightGBM的区别和联系~

最近已有不少大厂都在秋招宣讲了，也有一些在 Offer 发放阶段。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新人如何快速入门算法岗、如何准备面试攻略、面试常考点、大模型项目落地经验分享等热门话题进行了深入的讨论。背景：电子科技大学 985硕士 字节算法岗Offer我最近已有几次大厂面试经历，目前还在刷面经和复盘，想想面试的时候，什么地方回答的不好(主要是项目经历的部分)总结整个面试下来，基础题偏多，算法原理的内容也不少，工程方面偏向于工程落地实现。

薪资真香、技术难度真大、要求真的很全面，但不是没有方法可循、可借鉴的。业务知识 + 专业知识 + 编程基础能力+刷题(LeetCode/剑指Offer) + 项目 + 实习 + 竞赛 +顶会/顶刊+学校针对岗位要求，我在知识星球和《算法面试宝典》中详细给大家介绍。让加入的朋友了解最前沿的知识点，有问题给予专业指导，少栽跟头。这份《算法面试宝典》，文档字数 30w+，我们也在一直更新，涵盖算法岗的方方面面，相信你读完并思考实践后，你一定能有所收获。

关于 Pytorch ，我之前分享过很多篇，至于为什么今年这么重视 Pytorch ，熟悉大模型、算法的小伙伴都应该知道。大部分的大模型开发语言都是Pytorch。废话不多说。转入正题。在某些情况下，你可能需要使用 PyTorch 进行一些高级的索引和选择操作，例如回答这样的问题：“如何根据张量B中指定的索引来从张量A中选择元素？在本文中，我们将介绍三种最常见的用于此类任务的方法，即torch.index_select、torch.gather和torch.take。我们将详细解释它们，并对它们进行对比。

节前，我们社群组织了一场技术&面试讨论会，邀请了一些互联网大厂同学、参加社招和校招面试的同学，针对新手如何入门机器学习算法、该如何备战、面试常考点分享等热门话题进行了深入的讨论。基于社群的讨论，今天我整理了一个同学的面试题，分享给大家，希望对后续找工作的有所帮助。

节前，我们社群组织了一场机器学习算法岗技术&面试讨论会，邀请了一些互联网大厂同学、参加社招和校招面试的同学，针对机器学习算法岗技术趋势、项目经验分享、新手如何入门机器学习算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。基于社群的讨论，今天我整理一下机器学习算法岗方向面试题，分享给大家，希望对后续找工作的有所帮助。

年底了，技术群组织了一场算法岗技术&面试讨论会，邀请了一些同学分享他们的面试经历，讨论会会定期召开，

大家好，今天给大家分享除了基本的 NumPy、Pandas 和 Matplotlib 之外的 10个流行的数据分析 Python 库。

Chapyter 作为一个的扩展插件，它能把GPT-4完美地融入到你的开发环境中，并配备了一个代码解释器，能将自然语言快速转换为Python代码并自动执行。Chapyter通过在你经常使用的IDE中实行，有助于提高你的工作效率，让你有更多的机会去探索和实践一些新的创意。

这几天，很多人私聊，说是放假在学习算法，巩固算法知识点，方面后续春招面试使用。咱们今天就从下面7种算法模型为出发点，进行总结性的介绍，分别汇总核心的公式、优缺点以及最适用的场景方面介绍。

SHAP概念由Lundberg & Lee于2017年提出，但实际上是基于早在此之前存在的博弈论Shapley值。简而言之，SHAP值通过计算每个特征的边际贡献来工作，方法是在许多有和没有该特征的模型中查看（每个观察值的）预测，根据每个这些减少特征集模型中的权重计算这种贡献，然后总结所有这些实例的加权贡献。在这里，简单地说：对于一个观察值而言，SHAP值的绝对值越大，影响预测的作用就越大。因此，对于给定特征的所有观察值的绝对SHAP值的平均值越大，该特征就越重要。

机器学习是一种通过让计算机自动从数据中学习规律和模式，从而完成特定任务的方法。附注：除了以上两大类模型，还有半监督学习和强化学习等其他类型的机器学习模型。半监督学习是指在有部分标签数据的情况下，结合监督学习和无监督学习的方法进行模型训练。强化学习是指通过让计算机自动与环境交互，学习出如何最大化奖励的策略。不同的机器学习模型适用于不同的任务和场景。在实际应用中，需要根据具体的问题和数据特点选择合适的模型和方法。同时，机器学习也需要结合具体领域的知识和业务需求来进行深入研究和应用。

当然，也有一部分朋友对Pytorch 是有一定的基础的，想进一步提升Pytorch的技术能力，特别是当前大模型的火热，把 Pytorch 彻底带火了。今天分享一个非常棒的资料：《PyTorch 模型训练性能调优宝典》他是解决PyTorch训练性能和效率问题的首选宝典。适用对象包括：AI/ML平台工程师、数据平台工程师、后端软件工程师、MLOps工程师、站点可靠性工程师、架构师、机器学习工程师以及任何希望掌握PyTorch性能调优技巧的专业人士。

是 PyTorch 中用于定义和搭建模型的基类。通过继承该类，可以创建自定义的深度学习模型。# 自定义模型类# 创建模型实例# 查看模型结构你可以通过继承类来创建自定义的损失函数。# 自定义损失函数类# 使用自定义损失函数你可以自定义模型参数的初始化方法。# 自定义初始化方法# 在模型中应用初始化方法你可以通过继承类来创建自定义学习率调度器。# 自定义学习率调度器类# 自定义学习率调度逻辑pass# 使用自定义学习率调度器继承类可以自定义数据加载器。# 自定义数据加载器类。

也许你仍然在使用32位精度进行计算，或者甚至只是在单个GPU上进行训练。然而，随着科技的进步，我们已经有了更好的选择。使用更高精度的计算，如16位浮点数或混合精度，可以提高训练速度并减少内存消耗。同时，利用多个GPU进行并行训练，可以大大加快训练过程。我在这里总结了提升Pytorch模型训练速度的9个技巧，与大家分享，

处理不平衡数据对于建立准确的机器学习模型至关重要。这些Python库提供了各种技术来应对这一问题。根据你的数据集和问题，可以选择最合适的方法来有效地平衡数据。

Keras 3.0 升级是对 Keras 的全面重写，引入了一系列令人振奋的新特性，为深度学习领域带来了全新的可能性。这一次，我准备了 20节 PyTorch 中文课程导入环境import os定义模型、加载数据集定义优化器训练模型epochs = 3print(step } : {step } : {step } : {step } : {step } : {.4fstep } : {step } : {step } : {1step } : {step } : {

PyTorch在nn模块中提供了各种预定义的层、损失函数和优化算法。PyTorch的10条原则为开发者提供了宝贵的指导，帮助他们在使用PyTorch进行深度学习时遵循最佳实践。这些准则涵盖了许多关键方面，如张量、动态计算图、自动微分、模块化神经网络。遵循这些原则可以提高代码的可读性、性能和可维护性，使开发者能够更好地利用PyTorch的强大功能。无论是初学者还是有经验的用户，都可以从这份指南中受益，提升他们在PyTorch中的深度学习项目的质量和效率。更多高级PyTorch内容可参见如下内容。

机器学习是一门强大的工具，可以用于解决各种各样的问题。通过学习机器学习，您可以开发出能够自动化任务、做出预测甚至创造艺术的应用程序。如果您是一名 Python 开发人员，那么您将很高兴知道，有许多可以用 Python 构建的有趣机器学习应用程序。在本博客文章中，我们将介绍 10 个这样的应用程序。

本书是我利用工作之余大概3个月写成的，大部分读者应该在20天可以完全学会。预计每天花费的学习时间在30分钟到2个小时之间。当然，本书也非常适合作为 Pytorch 的工具手册在工程落地时作为范例库参考。日期学习内容内容难度预计学习时间更新状态B站讲解一、Pytorch的建模流程⭐️0hour✅day11-1,结构化数据建模流程范例⭐️⭐️⭐️1hour✅day21-2,图片数据建模流程范例⭐️⭐️⭐️⭐️2hour✅day31-3,文本数据建模流程范例⭐️⭐️⭐️⭐️⭐️。

哈喽，这些天无论是社群还是私信，很多人希望看到更多关于深度学习基础内容，这篇文章想要分享的是关于pytorch的转换函数。建议大家一定要好好看看这部分，在平常的使用中，既多又重要！！当然在 PyTorch 中，转换函数的主要意义主要是用于对进行数据的预处理和数据增强，使其适用于深度学习模型的训练和推理。将不同格式的数据（如 PIL 图像、NumPy 数组）转换为 PyTorch 张量，以便能够被深度学习模型处理。例如，将图像转换为张量。将输入数据的值缩放到某个特定的范围。