机器学习篇（预热）

最新推荐文章于 2025-05-10 19:15:00 发布
原创 最新推荐文章于 2025-05-10 19:15:00 发布 · 213 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #python

机器学习的数据：文件csv
使用数据库的缺点：
  • 性能瓶颈，读取速度慢
  • 格式不太符合机器学习要求数据的格式
pandes:读取工具 （基于numpy）
特征工程介绍
  • 数据组成结构：特征值+目标值
  • 列索引：特征
  • 目标值：分类
  • 每一行：样本
特征工程要做的事情：
  1. 特征抽取
    • 将文本转成数值
    • 解释：特征抽取对文本等数据进行特征值化
sklearn特征抽取API
sklearn.feature_extraction
  1. 字典特征抽取
    • 作用：对字典数据进行特征值化
    • 类：sklearn.feature_extraction.DictVectorizer
    • DictVectorizer(sparse=True) 有参数
    • DictVectorizer.fit_transform(X)
      • X:字典或者包含字典的迭代器
      • 返回值：返回sparse矩阵
    • DictVectorizer.inverse_transform(X)
      • X:array数组或者sparse矩阵
      • 返回值：返回sparse矩阵
    • DictVectorizer.get_feature_names()
      • 返回类别名称
    • DictVectorizer.transform(X)
      • 按照原先的标准转换
  2. 文本特征抽取
    • 作用：对文本数据进行特征值化
    • 类：sklearn.feature_extraction.text.CountVectorizer
    • CountVectorizer()
      • 返回词频矩阵
    • CountVectorizer.fit_transform(X)
      • X:文本或者包含文本字符串的可迭代对象
      • 返回值：返回sparse矩阵
    • CountVectorizer.inverse_transform(X)
      • X:array数组或者sparse矩阵
      • 返回值：转换之前数据格式
    • CountVectorizer.get_feature_names()
      • 返回值：单词列表
流程：
  1. 实例化类CountVectorizer
  2. 调用fit_transform方法输入数据并转换
    注意返回格式，利用toarray()进行sparse矩阵转换array数组
JarvisAI
关注
凡人炼丹之机器学习入门篇｜预热01 鸢尾花实验（上集））
I am rushuni.
06-23 714
凡人炼丹，皆有利于我！ 机器学习入门 - 预热，鸢尾花实验详解！
机器学习面试知识点总结
欢迎订阅 -- 小源笔迹
06-27 2552
机器学习基础知识，面试常见知识点
机器学习——导论；算法预热
weixin_42106987的博客
02-22 252
Xmind
机器学习笔记：学习率预热 warmup
qq_40206371的博客
08-07 1569
一种常见的方法是逐渐预热。假设预热的迭代次数为T‘，初始学习率为α0，那么在预热的过程中，每次更新的学习率为。
一、pandas系列---pandas库简介
G的博客
08-30 3265
pandas系列—pandas库简介一、pandas概述pandas是提供高性能易用数据类型和分析工具的第三方库 导入：import pandas as pd注：pandas库是基于Numpy实现的 一个简单的小例子：import pandas as pde=pd.Series(range(5)) eOut[7]: 0 0 1 1 2 2 3 3 4
人工智能福利站，初识人工智能，机器学习，第六课
m0_50308467的博客
02-04 1196
学习率衰减（Learning Rate Decay）是指在随机梯度下降（Stochastic Gradient Descent，简称 SGD）中逐渐减小学习率的过程。学习率衰减的目的是在训练过程中更好地平衡梯度下降的速度和准确性，以帮助模型更好地收敛到全局最优解或更好的局部最优解。梯度下降的速度过快导致震荡：较大的学习率可能会导致训练过程中参数在损失函数中跳来跳去，无法稳定地收敛。这是因为参数更新的步长过大，可能会错过更好的解决方案或使得模型无法收敛。
Python数据分析基础技术之pandas（史上最全面）
热门推荐
薛定谔的猫-前端领域
04-29 7万+
pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。简单地说，你可以把 Pandas 看作是 Python 版的 Excel。 ...
第十一周机器学习笔记：注意力机制（下）、Recurrent Neural Network（RNN，循环神经网络）；Pytorch学习——优化器代码实战
Zcymatics的博客
09-07 1886
本周周报主要讲述了注意力机制中更加细节的内容，周报讲述了相关的复杂性如果通过多头注意力机制解决的方法，并讲述了注意力机制如果通过位置编码方式解决先后位置的问题。此外，本周周报在注意力机制的章节中，将self-attention与CNN和RNN进行了比较以及其在实际场景的应用。在RNN的章节中，本周报详细描述了RNN的概念、RNN的变形拓展、以及LSTM。然后，本周报在Pytorch的章节，讲述了优化器的概念以及原理，并在最后展示了优化器使用的代码。
BERT（李宏毅）机器学习 2023 Spring HW7 (Boss Baseline)
m0_66773231的博客
01-06 894
自监督学习是一种无监督学习技术，通过数据本身的结构或特征生成标签，从而使模型能够学习。与传统的监督学习需要手动标注数据不同，自监督学习不依赖人工标注的数据。相反，它通过设计任务自动从数据中创建学习信号。自监督学习的核心思想是利用输入数据本身进行监督，通过构造代理任务（也称为预训练任务），使模型能够学习数据的有用表示。这些预训练任务的目的是教会模型数据中的有价值模式或结构，而无需使用手动标注的数据。
Pandas：数据处理与分析
分享学习期间的笔记心得
05-10 5496
Pandas 是一个开源的 Python 数据分析库，由 Wes McKinney 于 2008 年创建。它的名字来源于 “panel data”（面板数据），这是一种在经济学中常用的多维数据类型。Pandas 的目标是为 Python 提供一个功能强大、灵活易用的数据结构和数据分析工具，以满足现实世界中复杂多样的数据处理需求。Series和DataFrame。Series是一个一维的标签化数组，而DataFrame则是一个二维的表格型数据结构，类似于 Excel 中的表格或 SQL 中的表。
Python——Pandas库，超详细教程
小白
12-03 3万+
前言 1、Python的Pandas是一个基于Python构建的开源数据分析库，它提供了强大的数据结构和运算功能。 2、 Series：一维数组，类似于Numpy中的一维array，但具有索引标签，可以保存不同类型的数据，如字符串、布尔值、数字等。 DataFrame：二维表格型数据结构，与SQL表或Excel工作表类似，每列可以是不同的数据类型（如数值、字符串或日期），并且具有列名和行索引。DataFrame是Pandas的核心数据结构，提供了丰富的数据操作方法。 接下来我们将逐步介绍他的用法
pandas库——基础
Lonelinessser的博客
10-24 2176
Pandas 是一个开源的第三方 Python 库，从 Numpy 和 Matplotlib 的基础上构建而来Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析）Pandas 已经成为 Python 数据分析的必备高级工具，它的目标是成为强大、灵活、可以支持任何编程语言的数据分析工具Pandas 是 Python 语言的一个扩展程序库，用于数据分析。
python——pandas用法详解
longhaierwd的博客
07-24 1万+
Python本身的数据分析功能并不强，需要安装一些第三方的扩展库来增强它的能力。其中，针对结构化数据（可简单理解为二维表数据，或我们常用的Excel表格数据）分析能力最强的第三方扩展库就是Pandas。Pandas 是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来的，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具。
【pandas 类库】
zhurrm的博客
11-27 3243
Pandas 是 Python 语言的一个扩展程序库，用于数据分析。 Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。 Pandas 名字衍生自术语 "panel data"（面板数据）和 "Python data analysis"（Python 数据分析）。 Pandas 一个强大的分析结构化数据的工具集，基础是Numpy（提供高性能的矩阵运算）。 Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入.
Pandas库知识点总结（全）
qq_64301528的博客
10-28 1131
data = { 'A': [1, 2, 3, 4], 'B': [5, 6, 7, 8], 'C': [9, 10, 11, 12] } df = pd.DataFrame(data, index=['a', 'b', 'c', 'd']) # 添加新行 'e' df.loc['e'] = [17, 18, 19, 20]重置索引（reindex）可以更改原 DataFrame 的行标签或列标签，并使更改后的行、列标签与 DataFrame 中的数据逐一匹配。
Python数据分析利器：Pandas实战技巧与高级应用
数据与算法架构提升之路专栏
02-06 2683
本文详细介绍了Pandas在数据分析中的应用，包括基础数据结构Series和DataFrame的使用，以及如何通过Pandas进行数据导入、清洗、处理、统计和输出。通过实际代码示例，展示了如何创建DataFrame、获取数据大小、选择数据、创建新列、删除重复行等操作。同时，文章还探讨了如何使用Pandas进行数据格式转换、重命名列、处理空值、应用统计函数，以及如何使用SQL语句与Pandas结合进行数据分析。最后，通过与AWS S3的集成示例，展示了如何使用Pandas处理云存储中的数据
全网超详细——pandas库的使用
AI_dataloads的博客
09-26 6871
Pandas是Python第三方库，提供高性能易用数据类型和分析工具。当谈论数据处理和分析时，Pandas 库就像一个强大的工具箱，可以帮助你处理和分析各种类型的数据，从简单的电子表格到大规模的数据集。以下是关于 Pandas 库的通俗介绍Pandas 主要用于处理和操作数据表格，就像你在 Excel 或 Google Sheets 中所做的那样。它能够轻松加载、创建、编辑和保存数据表格。Pandas 提供两种主要的数据结构，称为DataFrame和Series。
Warmup预热学习率
sinat_36618660的博客
08-16 5万+
学习率是神经网络训练中最重要的超参数之一,针对学习率的优化方式很多,Warmup是其中的一种 (一)什么是Warmup? Warmup是在ResNet论文中提到的一种学习率预热的方法,它在训练开始的时候先选择使用一个较小的学习率,训练了一些epoches或者steps(比如4个epoches,10000steps),再修改为预先设置的学习率来 进行训练. (二)为什么使用Warmup? 由于刚开始...
RustFS在机器学习的使用场景
最新发布
08-17
<think>嗯，用户想了解RustFS在机器学习中的应用场景和案例。这个问题很有针对性，看来用户可能正在评估分布式存储方案。从用户提到的"机器学习"这个关键词来看，ta应该是技术背景的开发者或架构师。 我注意到系统指令要求使用特定格式的数学表达式，但这个问题主要涉及系统架构和应用场景，可能不太需要数学公式。不过我会确保所有技术术语都正确标注。 用户引用了两篇站内文章，第一篇介绍RustFS作为MinIO替代品的特点，第二篇提到AI数据存储的现状。这些引用很有价值，特别是第二篇直接关联到机器学习数据存储的痛点。 关于RustFS在机器学习中的具体应用，我可以从几个维度展开： 首先是数据湖存储，RustFS的分布式特性特别适合存储原始训练数据；其次是特征库场景，其低延迟特性对在线推理很重要；最后是模型版本管理，对象存储的不可变性在这里是天然优势。 特别要强调的是RustFS用Rust编写的特性——在机器学习场景中，内存安全能有效避免训练过程中的数据损坏问题。这点在用户没有明确询问但实际很重要。 用户可能还想知道具体案例，虽然开源项目可能缺乏大型商业案例，但可以描述典型应用模式。考虑到用户上次问的是RustFS替代MinIO的可能性，这次回答可以延续对比视角。 需要提醒的是，由于RustFS较新，某些生态工具链可能不如MinIO成熟。这个平衡性观点也应该包含在回答中，毕竟用户需要的是真实可靠的评估。</think>RustFS 在机器学习（ML）中的应用主要围绕**高效存储、管理大规模训练数据与模型**，解决海量非结构化数据（如图像、文本、音频）的存储、访问和版本控制痛点。其核心应用场景与案例如下： --- ### **一、核心应用场景** 1. **分布式训练数据湖** - **场景**：存储TB/PB级的原始数据集（如ImageNet、COCO）、预处理后的特征数据、中间结果。 - **优势**： - **高吞吐并行读写**：RustFS的分布式架构允许多个训练节点同时加载数据，避免I/O瓶颈[^1]。 - **数据版本管理**：通过对象存储的不可变性，实现数据集快照（如`dataset_v1.2`），确保实验可复现。 - **成本优化**：自动分层存储（SSD/HDD）降低冷数据存储成本。 2. **特征存储库（Feature Store）** - **场景**：集中存储预处理后的特征向量，供不同模型复用。 - **优势**： - **低延迟访问**：RustFS的Rust底层优化减少特征提取延迟，适合在线推理场景。 - **一致性保障**：强一致性协议避免特征漂移（如训练与推理时特征不一致）[^2]。 3. **大模型训练与版本管理** - **场景**：存储百GB级模型检查点（Checkpoints）、微调后的模型权重。 - **案例**： - 训练集群定期将模型快照（如`llama3-70b_step20k`）写入RustFS，故障时可快速恢复。 - 支持模型A/B测试：存储不同版本的模型（`model_v1`/`model_v2`），通过接口动态加载。 4. **流式机器学习管道** - **场景**：实时写入传感器数据/Kafka流数据，供在线模型更新。 - **优势**： - **高并发写入**：RustFS的异步I/O处理能力支持千级TPS的数据摄入。 - **与计算框架集成**：通过`S3 API`直接对接Spark/Flink，实现“存储-计算”解耦。 --- ### **二、典型技术方案示例** ```python # 使用Python SDK将训练数据上传至RustFS from rustfs_sdk import Bucket, Object # 初始化存储桶 bucket = Bucket("ml-training-data") # 上传预处理后的数据集 dataset = load_parquet("features.parquet") bucket.upload(dataset, "project_x/features_v1.2") # 从RustFS加载模型检查点 model_weights = bucket.download("models/llama3-70b_step50k.pt") model.load_state_dict(model_weights) ``` --- ### **三、对比传统方案的优化点** | **痛点** | **MinIO等传统方案** | **RustFS的优化** | |------------------------|--------------------------|----------------------------------| | 海量小文件读写 | 元数据管理压力大 | 分布式元数据层 + 聚合写入 | | 训练节点并发访问 | 带宽易饱和 | 智能流量调度 + 就近读取 | | 数据版本冲突 | 需外部工具（如DVC） | 原生对象版本控制 | | 内存安全 | Go/C++潜在风险 | Rust内存安全保证数据完整性[^1] | --- ### **四、挑战与注意事项** - **生态兼容性**：需验证与PyTorch/TensorFlow的兼容性（如自定义`Dataset`类）。 - **冷启动延迟**：首次加载TB级数据时需预热缓存。 - **权限模型**：复杂ML场景需细粒度访问控制（如特征库的列级权限）。 > **总结**：RustFS通过**高吞吐、强一致、低成本**的特性，成为ML数据湖与模型管理的理想底座，尤其适合分布式训练、特征工程和大模型场景。其Rust原生优势可减少数据损坏风险，但需评估与现有ML工具链的集成成本。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值