【七天入门ML与DL-01】加载sklearn自带的数据集 数据集划分

SVM入门——手写数字识别 SVM介绍 Margin:直观上的宽度(求得最大margin) Hyperplane:超平面 Support vectors:支持向量(支持我们找出hyperplane) SVM是一个constrained optimization problem(约束最优化问题),其中constrain是分指类,optimization是指使得margin最大 数字识别代码和特征和标签 import matplotlib.pyplot as plt from sklearn imp 阅读详情

加载鸢尾花数据集 并且划分数据集和验证集

from sklearn.datasets import load_iris
from sklearn.model_selection import  train_test_split
li=load_iris()
# print("获取特征值")
# print(li.data)
# print("目标值")
# print(li.target)
# print("描述")
# print(li.DESCR)

#返回值
#train --> x_train y_train
#test  --> x_test  y_test
x_train,y_train,x_test,y_test=train_test_split(li.data,li.target,test_size=0.25)
print("训练集特征值和目标值:",x_train,y_train)
print("测试机特征值和目标值:",x_test,y_test)
print(len(x_train))
print(x_train[0])
print(y_test[0])
print(len(x_test))

加载新闻数据集

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import  train_test_split
news=fetch_20newsgroups(subset="all")
print(len(news))
print(news.data[0])
print(news.target[0])

加载波士顿房价数据集

from sklearn.datasets import load_boston
from sklearn.model_selection import  train_test_split
lb=load_boston()
print(len(lb.data))
print(len(lb.target))
print(lb.data)
print(lb.target)
print(lb.DESCR)
机器学习实战路径:从学得快到用得对的问题链方法 机器学习本质上是面向业务决策的数据建模能力,而非数学知识的线性积累。其核心原理在于将模糊需求转化为可计算指标、从噪声数据中提取有效信号,并通过快速验证闭环持续优化。技术价值体现在降低试错成本、提升业务响应速度与模型可解释性,广泛应用于客户流失预警、房价趋势预测、智能客服意图识别等真实场景。本文聚焦‘问题链驱动’学习范式,强调以业务动因为起点、以最小可证伪指标为锚点、以数据切口为知识入口,结合‘三线并进’实践策略,帮助学习者跨越理论到落地的认知鸿沟,尤其适用于有基础但缺乏项目闭环经验的转行者与在校生。 阅读详情

相关推荐

Python线性回归实战:statsmodels与sklearn双框架生产级应用

线性回归作为最基础的机器学习模型,其核心价值不在数学推导,而在于业务可解释性与生产环境稳健性。理解OLS原理是起点,但真实场景中更关键的是缺失值的业务语义填充、异常值的动态分位数监控、非线性关系的可读分段建模,以及残差背后的业务逻辑断层诊断。本文聚焦Python生态下statsmodels(提供统计显著性、VIF、置信区间等审计能力)与scikit-learn(支撑高并发预测、Pipeline工程化、标准化鲁棒性)的协同实践,覆盖电商GMV预测、信贷初筛、SaaS续约率等高频落地场景,强调用MAPE、方向准

bangtuo9862的博客 554

【sklearn】数据集的预处理和加载——以Adult数据集为例

1 打开数据集adult.data 这样的文件本质和csv文件一样,可以通过 pd.read_csv() 读取: adult = pd.read_csv("C://Users//54719//Desktop//adult.data") out: 我们可以看到,这是一个32561*15的数据集,读取出来的是DataFrame,最后一列income是这个句数据集的标签,这是一个二分类的数据集。 2 查看每一列的dtype 可以通过 adult.loc[:,列名].dtype 或者 adult[列名].dt

学渣的博客 2万+

Sebastian Raschka机器学习资源体系深度解析与工程实践

机器学习模型开发不仅涉及算法原理,更依赖可复现、可调试、可部署的工程化实践。特征工程、模型评估、超参调优等核心环节,若缺乏系统性工具链支撑,极易陷入‘调包成功但线上失效’的困境。Sebastian Raschka构建的资源体系——涵盖《Python Machine Learning》教科书、mlxtend工具库、生产级评估模板及论文复现笔记——以‘概念→代码→验证→落地’为闭环,强调scikit-learn兼容性、特征选择鲁棒性与模型可解释性。其设计直击工业场景痛点:如SequentialFeatureSe

weixin_30820077的博客 418

【机器学习手册】【2】熟悉sklearn,加载数据集,完整

前言 这篇依然没有涉及什么高深的原理,仅仅是上手练习的一些东西。 加载样本 import numpy as np from scipy import sparse from sklearn import datasets #加载手写数字的数据集 digits_set = datasets.load_digits() #创建特征矩阵 features_matrix = digits_set.data #创建目标向量 target_vector = digits_set.target #查看第一个

痛苦的时候装出幸福相,这不是那么难做到的事 5329

MLOps四大统治性基础:可复现、可追溯、可监控、可协作

MLOps不是简单的模型部署运维,而是面向机器学习全生命周期的工程化操作系统。其核心在于解决数据、模型与代码协同演进中的确定性问题——可复现性保障实验到生产的零偏差,可追溯性实现从线上请求逆向定位至特征代码行,可监控性穿透基础设施指标直击特征漂移与概念退化等ML特有风险,可协作性则通过Pipeline DSL弥合数据科学家与SRE的工作范式鸿沟。这些能力共同构成AI规模化落地的可信基座,广泛应用于金融反欺诈、电商推荐、工业预测性维护等关键场景。

corg81763的博客 357

Amazon SageMaker实战:构建可审计的AI工程化交付流水线

机器学习工程化(MLOps)本质是解决数据科学家与运维团队在模型交付中的职责断点问题。其核心原理在于通过标准化工具链实现环境一致性、流程可追溯与服务可观测,从而降低单次实验的边际成本。技术价值体现在显著压缩模型从训练到上线的周期,并提升生产环境稳定性与可回滚能力。典型应用场景包括金融风控、零售销量预测、内容推荐等需快速迭代与严格治理的AI服务。本文聚焦Amazon SageMaker这一托管式MLOps平台,深入解析其在训练优化、数据管道、弹性部署、模型注册与持续监控等关键环节的工程实践细节,覆盖XGBoo

cuiji1279的博客 439

sklearn——加载数据集

1. 通用数据集 API 根据所需数据集的类型,有三种主要类型的数据集API接口可用于获取数据集; 方法一,loaders 可用来加载小的标准数据集,在玩具数据集中有介绍 方法二,fetchers 可用来下载并加载大的真实数据集,在真实世界中的数据集中有介绍 说明: loaders和fetchers的所有函数都返回一个字典一样的对象,里面至少包含两项:shape为n_samples*n_...

清风拂面 1万+

逻辑回归实战指南:从可解释性到高稳定性业务落地

逻辑回归作为经典的广义线性模型,其核心价值在于将线性预测与伯努利分布假设结合,输出具备明确概率语义的P(Y=1|X)。它不依赖复杂结构,却因天然满足可解释性、低延迟和分布鲁棒性等硬性约束,在金融风控、电商留存、实时反欺诈等关键场景中成为首选基线模型。相比线性回归,它避免了阈值截断导致的业务归因断裂;相比深度学习,它在新客漂移、小样本噪声、监管审计等现实压力下展现出更强稳定性。本文聚焦Logistic Regression在真实产线中的特征工程策略、class_weight调优逻辑、目标编码防泄露实践及概率校

weixin_33755557的博客 337

训练集、验证集的划分

有些数据集没有单独划分验证集,只有训练集和测试集,需要自己划分 from sklearn.model_selection import train_test_split from sklearn import datasets iris = datasets.load_iris() # 30%用于测试集,70%用于训练集 X_train,X_test,y_train,y_test= train_...

qq_32801595的博客 1122

数据科学工程师的生产级建模工具链实战指南

机器学习建模不仅是算法选择问题,更是面向生产环境的工程化实践。从特征工程、模型训练到上线监控,scikit-learn提供标准化接口契约,XGBoost、LightGBM与CatBoost则以可复现性、资源可控性和防数据泄露能力成为工业界首选。这些库的设计哲学直指核心痛点:如何在真实业务约束(如监管审计、实时重训、类别特征编码安全)下交付稳定、可解释、可追溯的模型。本文聚焦数据科学工程师日常高频场景——缺失值治理、目标编码泄漏、预测漂移排查、版本锁定与对抗验证,系统拆解四类主流框架在生产流水线中的协同逻辑与

xpmwgcwm的博客 410

数据科学面试实战指南:业务理解>工程落地>算法深度

数据科学不是算法公式的堆砌,而是将业务问题精准转化为可计算、可交付、可归因的技术方案的能力体系。其核心原理在于建立‘问题定义—数据验证—方案设计—效果度量’的闭环逻辑,技术价值体现在降低决策不确定性、加速实验迭代、驱动可量化业务增长。典型应用场景覆盖电商用户流失预警、信贷风控因果评估、本地生活准时率优化等强约束工业环境。本文聚焦国内一线企业真实面试现场,系统拆解业务理解(40%权重)、工程落地(35%)与算法深度(25%)的协同关系,并深入解析PSM倾向得分匹配、特征泄露识别、SQL数据侦探思维等高频热词所

weixin_30940783的博客 455

零基础学数据科学:Python实战+真实项目驱动的12周就业路径

数据科学已从高门槛学科演变为可系统习得的工程能力。其核心原理在于将复杂分析流程解耦为数据获取、清洗、可视化、建模与业务归因等可复用模块;技术价值体现在云环境开箱即用、工具链高度封装、合成数据普及与岗位能力图谱显性化;典型应用场景覆盖电商销量归因、用户流失预警、运营效果评估等一线业务问题。本文聚焦零基础入门与Python实战两大关键热词,提供一条以真实项目为锚点、以可就业能力为目标的平缓学习坡道。

weixin_30252709的博客 489

数据科学20个决策支点概念:从分布偏斜到模型可解释性

数据科学不是算法堆砌,而是用统计直觉支撑业务决策的技术实践。核心在于理解数据分布本质(如分布偏斜如何扭曲均值)、评估逻辑根基(如交叉验证如何防范过拟合幻觉)、以及特征与业务的映射关系(如缺失值模式实为隐藏业务线索)。这些概念构成模型可靠性的底层支柱,直接决定AUC是否可信、F1-score能否落地、p值是否具备决策价值。它们不依赖高深数学推导,却贯穿数据清洗、特征工程、模型评估到上线监控全流程,是转行者避开‘能跑通但不懂为何’陷阱、业务人员听懂‘这个指标不可信’背后逻辑的关键认知地图。

weixin_33701294的博客 439

数据科学职业转型:从知识学习到实操落地的生存指南

数据科学不是算法与公式的堆砌,而是一门以解决真实业务问题为核心的工程实践。其核心在于理解数据背后的业务逻辑、构建可解释的特征、选择适配场景的模型,并建立从开发到部署的完整反馈闭环。对于转行者而言,真正的瓶颈往往不在Python或机器学习理论,而在数据获取合规性、特征构造的业务贴合度、以及模型结论向决策动作的转化能力。本文聚焦‘数据科学’与‘职业转型’两大高频搜索关键词,通过七日攻坚计划、真实项目复盘与避坑清单,系统拆解新人如何跨越‘学了很多却不会用’的认知断层,将技术能力锚定在业务价值交付上。

weixin_34059951的博客 452

Nixtla时间序列预测实战:从M5复现到生产部署

时间序列预测是零售、金融、制造等行业的核心分析能力,其本质是建模数据中的趋势、季节性与噪声。Nixtla作为新一代工业级预测工具链,将统计模型(如ETS、Croston)与深度学习(如NHITS、DeepAR)统一于标准化接口,并通过TimeSeriesData结构强制规范多序列与层级关系。它解决的关键技术痛点包括:自动对齐时间索引、内置层级协调(BottomUp/MinT)、外生变量鲁棒融合,以及面向业务的预测任务组织范式。本文基于M5竞赛真实数据集,详解从宽表清洗、频率对齐、模型选型(season_le

weixin_30588675的博客 365

贝叶斯定理实战指南:从条件概率直觉到业务决策落地

贝叶斯定理是理解条件概率与不确定性推理的基础统计框架,其核心在于将先验知识、观测证据与似然关系整合为可更新的后验判断。它不替代机器学习模型,而是提供一套严谨的决策逻辑——尤其在类别不平衡、小样本或高代价误判场景(如反欺诈、医疗诊断、风控预警)中,能有效克服准确率等指标的盲区。通过引入基率(Base Rate)、量化先验与动态似然,贝叶斯方法赋予模型可解释性与业务对齐能力。本文聚焦数据工程师真实工作流,结合假阳性率、混淆矩阵等高频痛点,详解如何将公式转化为特征设计、阈值设定与线上监控,让概率真正驱动行动。

weixin_30268071的博客 355

sklearn加载自己的数据_使用Dataloader加载自己的视频帧数据

手头的数据一般都是在若干个文件夹中保存有若干视频帧。例如000-199共200个文件夹,每个文件夹下有连续的200帧。模拟实验涉及降采样的LR数据,Bicubic的数据,以及真实GT数据。之前的RBPN是在数据加载的时候用的python的Bicubic内核进行降采样,实际上:python的Bicubic内核与matlab内核的降采样是不同的。我用python降采样后再上采样与GT求PSNR,发现p...

weixin_39818264的博客 1199

【信息科学与工程学】【广告科学】第四十四篇 广告平台投放和广告计费类算法01

全行业的中国企业广告投放模型总表。行业分类依据《国民经济行业分类》(GB/T 4754—2017)的门类/大类 ,产品层参考"主营产品统计代码"行业—产品映射 ,平台算法以巨量引擎、腾讯广告等官方文档为硬支撑 ,合规部分严格对齐《互联网广告管理办法》以及2026年市场监管部门最新合规提示 。编号类型(门类)行业(大类)企业及产品内容列表投放模型投放平台投放人群欲望激发维度面向人群模式(地域/文化/年龄/角色)001A 农林牧渔01 农业北大荒/中粮:五常大米、面粉、食用油、杂粮品牌曝光 + 电商转化双轨(C

weixin_49199313的博客 1666
上一篇: 【git】gitlab撤回远端提交push的内容
下一篇: 【七天入门ML与DL-02】fit_transform和fit、transform
菜菜2022
博客等级 码龄9年 67粉丝 1033原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值