
大数据
文章平均质量分 80
南歌EuanSu
且将新火试新茶,诗酒趁年华。
展开
-
【Python】Kerberos环境下Python的接口调用
Kerberos 是一个用于服务请求时在服务端和客户端进行身份认证的服务,Kerberos支持在所有操作系统上进行构建,包括有 Windows、macOS、FrssBSD 和 Linux。Kerberos 环境下访问远程主机的服务,需要在主机上先进行认证,然后才可以携带 kerbeors 主机和 keytab 文件访问。接口文档地址:https://hadoop.apache.org/docs/r1.0.4/webhdfs.html。方法中调用工具类,获取目录文件以及目录的状态。的接口调用操作成功。原创 2024-01-25 17:27:51 · 1445 阅读 · 2 评论 -
【大数据】YARN调度器及调度策略
YARN负责作业资源调度,在集群中找到满足业务的资源,帮助作业启动任务,管理作业的生命周期。YARN技术架构目前,Hadoop作业调度器主要有三种:先进先出调度器(First In First Out)、容量调度器(Capacity Scheduler)、公平调度器(Fair Scheduler)。Apache Hadoop-1.x 默认调度器为先进先出调度器(First In First Out);原创 2024-01-23 13:20:10 · 2488 阅读 · 0 评论 -
【大数据】YARN常用命令及Rest API
查看所有任务查看指定任务状态的作业# state 可选的有:ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED# 示例查看正在运行的任务信息结束作业。原创 2024-01-22 10:43:04 · 2398 阅读 · 1 评论