
hadoop征途
IT小白虫
闻道有先后,术业有专攻击。-------------人生需要开挂
展开
-
Hadoop HA 是什么?架构?
Hadoop HA 是什么?hadoop2版本中可以有多个namenode结点,一个是活跃(active)状态,一个是准备(standby)状态。(haoop 1不存在此特性)Hadoop HA架构详解1.1 HDFS HA背景HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameN...转载 2018-05-06 17:29:48 · 16293 阅读 · 2 评论 -
警告:MySQL-server-5.5.46-1.linux2.6.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY
引用:https://yq.aliyun.com/articles/6742警告:MySQL-server-5.5.46-1.linux2.6.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY 摘要: CentOS安装rpm安装MySQL时爆出警告: 警告:MySQL-server-5.5.46-1.linux2.6.x...转载 2018-07-19 19:38:41 · 1077 阅读 · 0 评论 -
使用SecureCRT上传下载文件的实现
错误:把liunx中的到本地[root@localhost /]# sz -y download_test -bash: sz: command not found说命令没有发现 解决:yum在线安装 yum install lrzsz -y下载上上传的目录设置下载:sz -y (加上要下载 的文件名) -y 指的是覆盖上传或者是下载上传...原创 2018-07-05 17:33:06 · 981 阅读 · 0 评论 -
远程连接linux服务器详解原理:我这里使用的是SecureCRT
个人的笔记本: ssh客户端(SecureCRT/xshell/putty)linux服务器: ssh服务(监听本机IP的对应的22端口) 端口:用来区别 一台计算机的不同的软件的服务的。范围0~65535不能冲突linux服务器网卡协议:ssh2/ssh1 2是1的升级版,2相比于1来说更加的稳定。ssh(加密的协议)telnet...原创 2018-07-05 16:36:31 · 2186 阅读 · 0 评论 -
本地运行yarn实现wordcount报错Exit code: 1 Exception message: /bin/bash: 第 0 行:fg: 无任务控制 Stack trace: ExitCo
eclipse控制台输出错误信息Container id: container_1531823680410_0003_02_000001Exit code: 1Exception message: /bin/bash: 第 0 行:fg: 无任务控制Stack trace: ExitCodeException exitCode=1: /bin/bash: 第 0 行:fg: 无任务控制...原创 2018-07-17 20:45:17 · 4444 阅读 · 0 评论 -
java实现上传文件到hadoop集群中报错to master:9000 failed on socket exception: java.net.SocketException: Permissio
1:我连接的集群是自己学校的服务器,为什么上传文件总报错权限的事情报错“自己的ip 加上 to master:9000 failed on socket exception: java.net.SocketException: Permissio” :疑惑:为什么会使用我的连接以太网的IP192.168.70.194参考文章:https://yq.aliyun.com/...原创 2018-07-16 21:16:00 · 1042 阅读 · 0 评论 -
centOS7.0 下配置Hadoop集群,Slave1报错:failed on socket timeout exception: java.net.NoRouteToHostException
转:https://blog.youkuaiyun.com/u012248381/article/details/39666787centos6和centos7h关闭防火墙的命令不一样转载 2018-07-16 20:58:14 · 1131 阅读 · 0 评论 -
大数据生态圈所涉及的技术
转载 点击打开链接今天博主是做一个大概的概述,缺少的章节会在后面慢慢补充,感兴趣的同学可以在下面评论留言。数据可视化展示中心:KIbana官网:点击打开链接用户指南:点击打开链接Grafana官网:点击打开链接Grafana帮助文档:点击打开链接大数据特征:1)大量化(Volume):存储量大,增量大 TB->PB2)多样化(Variety):来源多:搜索引擎...转载 2018-07-03 21:15:46 · 785 阅读 · 0 评论 -
Hadoop必看-HDFS格式化过程分析
问题导读:1、如何跟踪HDFS格式化 private static boolean format(Configuration conf, boolean isConfirmationNeeded, boolean isInteractive) throws IOException在该方法中,首先调用FSNamesystem类的方法,获取到待格式化的name目录和edit目录:Collecti...转载 2018-05-06 17:50:18 · 9816 阅读 · 0 评论 -
centos7下安装rpm -ivh MySQL-client-5.6.26-1.linux_glibc2.5.x86_64.rpm和rpm -ivh MySQL-server-5.6.26-1.li
卧槽:花了几个小时,没想到是centos7的启动mysql的命令变了。原先使用:service mysql start 不是service mysqld start (安装包的原因)报错 Starting MySQL. ERROR! The server quit without updating PID file (/var/lib/mysql/slave2.pid).//sla...原创 2018-07-19 20:51:16 · 3077 阅读 · 0 评论