数据分析
关注
分享
扫一扫
一个java开发
这个作者很懒，什么都没留下…
展开
-
hadoop==docker desktop搭建hadoop
hadoop==docker desktop搭建hadoop原创 2025-01-26 22:45:51 · 988 阅读 · 0 评论 -
airflow==安装使用
目前windows系统不支持，要么WSL要么DOCKER。触发一个DEMO DAG。查看某个步骤的输出日志。原创 2025-01-16 20:11:19 · 213 阅读 · 0 评论 -
pyspark==堆叠
【代码】pyspark==堆叠。原创 2024-10-24 23:07:17 · 183 阅读 · 0 评论 -
DASK==延迟对象delayed
dataframe延时。原创 2024-09-02 23:05:23 · 332 阅读 · 0 评论 -
DASK==python分布式计算
启动一个worker并将自己注册到调度器。原创 2024-06-01 23:13:50 · 300 阅读 · 0 评论 -
DASK==python并行计算
Dask is a Python library for parallel and distributed computing原创 2024-06-01 22:12:02 · 535 阅读 · 0 评论 -
pyspark==windows单机搭建
下载安装hadoop-3.3.5并完整替换bin目录,配置HADOOP_HOME。下载安装JDK17,配置JAVA_HOME。下载spark配置SPARK_HOME。注意要指定python的地址。原创 2024-05-28 23:03:50 · 502 阅读 · 0 评论 -
python项目==一个web项目，配置模板指定文件清洗规则，调用模板规则清洗文件
一个web项目，配置模板指定文件清洗规则，调用模板规则清洗文件。原创 2024-05-03 22:30:07 · 502 阅读 · 1 评论