pySpark学习记录与hadoop

原创 于 2020-09-03 20:21:11 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #hive-sql #pySpark

这篇博客介绍了作者在学习pySpark过程中遇到的问题，包括使用shell脚本操作HDFS，理解hadoop命令，解决python版本问题，以及在遇到错误时如何查看和分析日志。博客中还提到了通过hadoop管理平台查看log日志来定位问题，并分享了如何下载和融合HDFS上的文件。

hi，看了这个博文感觉路唇不对马嘴？？其实是源于看别人写的shell脚本，而这个脚本是为pySpark服务的，所以先了解点shell脚本的东西，下面开始正题了。

首先依旧是hadoop命令，对hdfs文件的操作。

For Video Recommendation in Deep learning QQ Group 277356808

视频推荐深度学习加这个群

For Visual in deep learning QQ Group 629530787

视觉深度学习加这个，别加错

I'm he

了解本专栏 订阅专栏 解锁全文 超级会员免费看
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值