
Hadoop
文章平均质量分 79
Hadoop 介绍及不同模式的环境搭建
半吊子Kyle
这个作者很懒,什么都没留下…
展开
-
Yarn 的 Shell命令
Yarn 的 Shell命令Yarn的常用命令application 的常用操作Yarn的常用命令查看 Yarn 的命令选项yarn -helpapplication 的常用操作查看 yarn application 有哪些操作选项yarn applicaion查看当前所有的 applicationyarn application -list强制关闭指定应用# 格式yarn application -kill 应用id# 示例:关闭 id 为 application_原创 2022-03-18 09:16:21 · 2000 阅读 · 0 评论 -
大数据开发的 Maven 配置
大数据开发的 Maven 配置Maven 配置多个镜像不生效大数据开发的 Maven 配置Maven 配置多个镜像不生效你可能试过,在 settings.xml 配置文件中配置多个镜像库来实现:依赖如果不在第一个镜像库,那么就去第二个镜像仓库下载,依次类推…Maven – Guide to Mirror Settings (apache.org)在上面的 Maven 文档中已经申明,只能配置最多一个镜像仓库,Maven 是实现不了你想要的需求的,你可能看到其它博客千篇一律介绍配置了多个镜像仓库,然后原创 2021-09-28 09:13:58 · 296 阅读 · 0 评论 -
DolphinScheduler 常用的操作
DolphinScheduler 常用的操作登录系统创建队列创建租户创建普通用户创建告警组切换普通用户登录项目管理创建工作流关键词:【DolphinScheduler 使用、DolphinScheduler 操作、DolphinScheduler 创建队列】DolphinScheduler 参考文档 (apache.org)DolphinScheduler 安装登录系统http://192.168.xx.xx:12345/dolphinscheduler默认用户名:admin默认密码:dolp原创 2021-08-31 12:30:58 · 4396 阅读 · 0 评论 -
DolphinScheduler 安装及使用
DolphinScheduler 安装及使用它可以做什么?安装准备安装配置修改参数一键部署Apache DolphinScheduler 介绍它可以做什么?相信使用过 CDH 中 oozie 的朋友一定不会对它陌生,它是一个工作流调度框架,可以通过 WEB-UI 页面帮助我们完成一些工作流调度任务(HDFS、MapReduce、Java、Shell、SSH、Pig、Hive)的定义和发布今天介绍的 Apache DolphinScheduler 是 2019 年中国易观公司开源的一个调度系统,相原创 2021-08-31 11:09:32 · 7382 阅读 · 4 评论 -
Hadoop 介绍及集群搭建
Hadoop 介绍及集群搭建第一章 Hadoop 介绍1.2 Hadoop 架构演变1.2.1 1.x版本架构模型介绍1.2.2 2.x版本的架构模型1.2.3 3.x 版本架构和模型介绍第二章 Hadoop 集群搭建2.1 环境准备2.2 Hadoop 安装包介绍2.3 集群配置规划2.4 Hadoop 配置2.4.1 修改 hadoop-env.sh2.4.2 修改 core-site.xml2.4.3 修改 hdfs-site.xml2.4.4 修改 mapred-site.xml2.4.5 修改原创 2021-06-09 10:57:03 · 1849 阅读 · 1 评论 -
HDFS的Shell操作命令
HDFS 的 Shell命令Shell 命令说明Shell 命令选项Shell 命令概览Shell 命令说明HDFS 是存取数据的分布式文件系统,那么对 HDFS 的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对 HDFS 的操作命令类似于 Linux 的 shell 对文件的操作,如 ls 、mkdir 、rm 等文件系统 shell 包括与 Hadoop 分布式文件系统(HDFS)以及 Hadoop 支持的其他文件系统(如本地 FS,HFTP原创 2021-06-21 11:32:33 · 4323 阅读 · 2 评论