使用 WSL 进行pyspark + xgboost 分类+特征重要性 简单实践

最新推荐文章于 2024-12-07 10:42:33 发布
最新推荐文章于 2024-12-07 10:42:33 发布
阅读量908 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据机器学习实践探索 基于大数据的机器学习原理与最佳实践 文章标签： pyspark xgboost 机器学习 特征重要性
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangyaninglm/article/details/118196915

这里写目录标题

wsl 简介与安装

WSL 是 Windows Subsystem for Linux windows下的linux子系统，由于直接在windows 上安装pyspark 跑很多基于linux 的库的机器学习库很费劲，有什么办法是省时省力并且占用资源少的方式呢？相比虚拟机动辄8g 左右的内存占用量，wsl 当然是一个非常好的选择。

windows 的说明文档 比以前有了很大进步，以前很多系统设置都得去百度搜半天，现在好了，文档写的很清楚

离线安装wsl

一般来说，都是从应用商店安装，但是现在来说，众所周知的原因，网络不是特别稳定，所以可以离线下载后使用powershell 安装，下载后大约是一个 4、5 百M 的文件：Ubuntu_2004.2020.424.0_x64.appx

下载wsl

了解本专栏 订阅专栏 解锁全文 超级会员免费看
pyspark 对xgboost操作记录（待续）
平原的博客
05-18 646
大数据集群安装搭建请参考这个链接，很详细。 1、连接pyspark，配置xgboost import pandas as pd from pyspark.sql.functions import col from pyspark.sql import SparkSession from pyspark.ml import Pipeline,PipelineModel from sklearn.utils import shuffle from pyspark.sql import functions fro
WSL搭建Hadoop与Spark环境
文艺圈不知名刘先生
03-20 1818
❤❤❤ 文章目录jdk安装下载解压检验Hadoop安装下载解压检验Hadoop伪分布式模式配置文件配置修改hadoop-env.sh修改core-site.xml修改hdfs-site.xml测试HDFS启动sshNameNode格式化启动dfs查看hadoop页面YARN单机配置修改mapred-site.xml修改yarn-site.xml查看资源管理页面Spark安装下载spark解压配置环境配置Spark修改spark-env.sh启动启动pyspark ❤❤❤ jdk安装 下载 首先在oracle
pyspark随机森林重要性
weixin_42237388的博客
02-22 539
from pyspark.ml import Pipeline from pyspark.ml.classification import RandomForestClassifier from pyspark.ml.linalg import Vectors from pyspark.sql import SparkSession import pandas as pd from pyspar...
Python中XGBoost的特性重要性和特性选择
热门推荐
liuzh的博客
03-27 1万+
使用像梯度增强这样的决策树方法的集合的一个好处是，它们可以从经过训练的预测模型中自动提供特征重要性的估计。 在这篇文章中，您将发现如何使用Python中的XGBoost库估计特性对于预测建模问题的重要性。 读完这篇文章你就会知道: 如何使用梯度增强算法计算特征的重要性。 如何在Python中绘制由XGBoost模型计算的特性重要性。 如何使用XGBoost计算的特性重要性来执行特性选择。 让我们开...
pyspark 随机森林重要性
weixin_42237388的博客
02-22 488
废话不多说,直接上代码! ```python from pyspark.ml import Pipeline from pyspark.ml.classification import RandomForestClassifier from pyspark.ml.linalg import Vectors from pyspark.sql import SparkSession import p...
pyspark sparksession_在pyspark上使用xgboost
weixin_39796363的博客
11-26 303
xgb是机器学习业界常用模型，在spark上不像RF等有现成的build in model，所以需要自己弄一下，不过也不是很难。1. 预备工作首先需要下两个jar文件，xgboost4j-spark-0.72.jar 和xgboost4j-0.72.jar，链接如下。之后要下载一个sparkxgb.zip，里面包括了pyspark代码去call jar文件以及set up一些参数。xgboost4...
WSL中使用Notepad++编辑文本文件
codegrabber的博客
07-31 1112
在wsl中使用notepad++编辑文本文档
wsl更新包+linux操作系统
04-09
wsl更新包的发布和安装是确保开发者能在Windows环境下无缝工作的重要步骤。这些更新包会不断优化WSL的性能，为开发者提供更加稳定和高效的开发体验。同时，更新包的发布也是微软响应社区反馈，不断完善其产品的一...
windows10 下 wsl + ubuntu + cups 安装使用
AIGC搞起
04-19 2442
由于配置文件中 系统组 有 lpadmin 和 root，所以把我的sudo用户 east196 加入 系统组就OK了。再装一次，提示已安装，直接设用户名密码进系统了~~~可是安装的时候提示是有Ubuntu了？下，1-1的state显示Attached就好。一步一步走，最后在打印机列表里看到打印机了。wsl情况较为特殊，需要先挂载usb设备。：用管理员身份运行powershell。安装完按要求重启，两次都闪退。
WSL+VSCODE +cmake环境搭建笔记
XUEXIDEXIAOhai的博客
12-07 683
打开VS Code→安装扩展：WSL→点击 左下角的 打开远程窗口→点击 连接到WSL→点击 打开文件夹 →点击 确定→点击命令栏的 查看→终端。打开Microsoft Store →下载ubuntu 22.04 LTS →点击打开→设置用户名和密码。打开Microsoft Store →下载windows terminal。打开Windows PowerShell，键入。打开Ubuntu 22.04，键入。
pyspark使用XGboost训练模型实例
Toby的博客
08-04 3102
pyspark训练Xgboost模型
基于python与XGBoost实现二分类
07-11
基于python与XGBoost实现二分类 基于论文“XGBoost: A Scalable Tree Boosting System”
Spark机器学习中的常用算法特征重要性筛选FeatureScore
Buevara的博客
08-06 2950
1 logisticRegression 2 randomforest 3 xgboost https://stackoverflow.com/questions/62769574/spark-xgboost4j-how-to-get-feature-importance https://cloud.tencent.com/developer/ask/216071
单例模式5种实现方式
lcjjy666的博客
11-04 1130
一个类始终保证只有一个对象，这种模式称为单例模式。 优点：不需要反复创建与回收对象，节约内存空间，调用执行效率高 缺点：并发操作会造成线程不安全 懒汉模式： public class SingleOne { private static SingleOne single; private SingleOne() {} public static synchronized SingleOne getInstance() { if(single == null) { single = new SingleOne
pyspark学习之——特征提取、转换与选择
a_dreaming的博客
12-14 2630
       记录pyspark的MLlib库学习篇，学习资料来自spark官方文档，主要记录pyspark相关内容，要么直接翻译过来，要么加上自己的理解。spark2.4.8官方文档如下： https://spark.apache.org/docs/2.4.8/ml-features.html 目录一、特征提取1.1 TF-IDF1.1.1 TF1.1.2 IDF1.1.3 实例1.2 Word2Vec二、特征转换2.1 Tokenizer2.2 StopWor.
WSL中搭建SPARK平台(中）
是纯一的博客
11-17 1251
本部分教程将指导您在Docker容器中构建一个Spark集群，包括配置主节点和工作节点。
PySpark本地开发环境搭建
weixin_63297999的博客
10-30 642
PySpark : pip install pyspark==3.1.2 首先这个是pyspark的开发环境，这个软件安装在了 Annaconda里面，所以Annaconda 安装在了哪个盘，你这个pyspark 就在哪个盘。假如我没有在黑窗口安装这个pyspark ，就关联了pycharm ，请问，这个pycharm 如何才能有pyspark的环境？以上其实是在本地安装一个Spark软件，没有Spark环境，如何在本地写代码呢？默认安装到了一个非空文件夹下：ProgramData。点击“Create”。
WSL中搭建SPARK平台(上）
是纯一的博客
11-12 645
小白轻松搭建Hadoop+Spark
Spark实现xgboost多分类(python)
rosefun96的博客
07-02 9247
1. spark-xgboost Java包 主要需要xgboost4j-spark-0.90.jar, xgboost4j-0.90.jar, 以及 调用代码 sparkxgb.zip. GitHub上面有xgboost java 实现的包，链接：xgboost; 但我省事，用了zhihu xgboost的分布式版本(pyspark)使用测试 的下载链接。 注意，xgboost 的版本号 和sparkxgb内的内容对应。 2. xgboost多分类 我是使用pyspark 运行，通过 pyspark --
superset+docker+wsl+ubuntu+本地mysql
最新发布
10-24
虽然给定引用中没有直接关于在WSL的Ubuntu系统中使用Docker部署Superset并连接本地MySQL的内容，但可以根据已有信息推测步骤如下： ### 环境准备 系统要求为Linux（推荐Ubuntu 20.04/22.04）或macOS，Windows可用WSL2，内存建议 ≥ 4GB（Superset + ClickHouse） ，需要安装Docker & Docker Compose（推荐方式，避免环境冲突） [^2]。 ### 使用Docker部署Superset 根据Superset Docker Compose，可参考其PostgreSQL连接信息（虽此处是连接MySQL，但部署思路可借鉴）。在WSL的Ubuntu系统中，先确保Docker和Docker Compose正常运行。之后可通过相关的Docker Compose文件来部署Superset，不过具体的Docker Compose文件内容需进一步查阅官方文档或相关资源进行配置。 ### 连接本地MySQL 要连接本地MySQL，需要在Superset中进行相应配置。首先要知道MySQL的连接信息，如主机名、端口、数据库名、用户名和密码。假设MySQL运行在本地，主机名可能是`localhost` ，端口一般是`3306`。在Superset中配置数据源时，填入这些信息，类似于Superset连接PostgreSQL填入相关信息一样。 示例代码（假设已有合适的Docker Compose文件`docker-compose.yml` ）： ```bash # 启动Docker Compose服务 docker-compose up -d ``` 在Superset中配置MySQL数据源的Python代码示例（假设使用Superset的API）： ```python # 这里只是示例，实际需要根据Superset的API文档进行调整 import requests # 假设Superset的API地址 superset_api_url = "http://localhost:8088/api/v1/database/" # 假设的MySQL连接信息 mysql_config = { "database_name": "your_database_name", "sqlalchemy_uri": "mysql+pymysql://your_username:your_password@localhost:3306/your_database_name" } # 发送请求添加数据源 response = requests.post(superset_api_url, json=mysql_config) print(response.json()) ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shiter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值