
Hadoop
文章平均质量分 79
MilkyTea'Ou
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Yarn FairShare Scheduler
Yarn FairShare SchedulerFairShare SchedulerSteady Fair share vs Instaneous Fair Share参考 FairShare Scheduler fair share scheduler集群资源调度的方式: 1、目的是所有应用程序随着时间的推移获得相等的资源份额; 2、可以让短应用程序在合理的时间内完成,而不会饿死长期应用程序; 3、支持队列优先级,根据优先级高低,分配给任务的资源不同; 下图为hadoop yarn web ui上的显示原创 2022-03-27 18:12:41 · 2496 阅读 · 0 评论 -
hadoop(一) 常用shell命令总结
hadoop fs -count -q 目录 // 查看目录下总的大小 2 1 none inf 1 0 0 /data/test_quota1 注:这里对上面的返回结果进行解释: 第1个值表示文件数限额 第2个值表示可原创 2018-02-01 10:44:30 · 1312 阅读 · 0 评论 -
hive sq操作
查看hive版本号: hive> set hive.hwi.war.file 创建外表: hive> create external table table_name ( > name string, > type string, > comment string > ) > partitioned by (dt string) >原创 2018-01-31 18:49:56 · 580 阅读 · 0 评论