基础架构
关注
分享
扫一扫
jacobwe
请我去我去
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hdfs常用命令 和缩写
hadoop fs -mkdirhadoop fs -ls 缩写 hlshadoop fs -cat 缩写 hcathadoop fs -du原创 2021-08-02 11:01:01 · 376 阅读 · 0 评论 -
yarn的HA配置
yarn.resourcemanager.ha.enabledha状态切换为自动切换trueyarn.resourcemanager.ha.rm-idsrm1,rm2yarn.resourcemanager.hostname.rm1bigdata01yarn.resourcemanager.hostname.rm2bigdata02yarn.resource...原创 2019-10-25 15:51:05 · 300 阅读 · 0 评论 -
flumn的配置启动和关闭
flume 的三大组件source 对应的是channel thick1 flume 配置 从 log 到 hdfscat pingback_sdk_app.confp1.sources = r1p1.sinks = k1 k2p1.channels = c1 c2p1.sources.r1.type = avrop1.sources.r1.bind = w133p1.s...原创 2019-06-13 16:43:20 · 823 阅读 · 0 评论 -
元数据管理-hive表的数据字典表信息查询-metastore 的mysql导出
尝试了 sh 脚本的导出源数据表，导出来的都需要再加工。通过hive在mysql里的 表结构可以查询，以下是查询sqlselect t.TBL_ID,c.COLUMN_NAME,COMMENT from TBLS t left join COLUMNS_V2 c on t.TBL_ID = c.CD_ID...原创 2019-07-18 10:34:05 · 682 阅读 · 0 评论 -
重温 当年 linux 的 基础架构的 那些命令
useradd mattpasswd mattchown -R matt /etc 对某个目录进行权限更改原创 2019-07-19 16:51:03 · 153 阅读 · 0 评论 -
hadoop&hive的重启关闭-复习一下
查看hdfs目录 结构 hdfs dfs -ls /user/hive/warehouse报错，重启hiveps -aux|grep hive 查找进程命令kill -9 2323#启动metastore服务hive --service metastore &依然不能解决，内容ip由于没有加白名单而造成namenode 和datanode 无法通信，重启hadoopsbi...原创 2019-08-05 10:10:31 · 2761 阅读 · 0 评论 -
mysql 导入导出dmup文件
安装szrzroot 账号登陆后执行以下命令：yum install -y lrzsz注意:rhel安装完系统后 直接可使用 rz szdump文件mysqldump -u root -p 库命 > /home/bi_back.sqlsz下载文件rz上传目标服务器...原创 2019-08-01 22:19:48 · 477 阅读 · 0 评论