大数据
走一步
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
一些查过好用的hdfs命令
gzip 文件查看 HDFS 上 gzip 文件的命令 12345 hadoop fs -cat /shining/temp.txt.gz | gzip -d 或hadoop fs -cat /shining/temp.txt.gz | zcat 转载自:https://sukbeta.github.io/hadoop-lzo-gz-bz2/hadoop上命令行查看lzo、gz、bz文件或者对各种文件都可以使用-text选...原创 2020-06-27 22:53:11 · 398 阅读 · 0 评论 -
没有数据分析大数据就什么也不是
大数据分析的启发转载 2015-09-27 10:12:47 · 1047 阅读 · 0 评论 -
一次查询
处理数据原创 2017-03-15 12:07:23 · 722 阅读 · 0 评论 -
一次查询2
一次spark查询原创 2017-06-07 10:17:58 · 439 阅读 · 0 评论 -
spark进行map,join分worker数少的一些问题
1、fullouterjoin导致的分配worker少:一开始然后加coalesce(1000)还是用的worker很少然后调整join顺序,之前是(小数据)fullouterjoin(大数据),把大小数据顺序调换,worker多了,执行变快最后结果ps:改变join时spark shuffle用的worker数--conf spark.sql.sh...原创 2018-04-24 10:47:42 · 766 阅读 · 0 评论
分享