Hadoop
关注
分享
扫一扫
文章平均质量分 75
Hi洛一
Talk is cheap.Show me the code
展开
-
大数据常用端口
常见端口汇总：Hadoop： 50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口8485 ： JournalNode 的RPC端口8019 ： ZKFC端口19888：jobhis...转载 2020-01-14 15:33:16 · 213 阅读 · 1 评论 -
生态圈辅助工具_Day01_Apache Flume-（入门案例、负载均衡、高可用、拦截器、自定义source、sink）
2019.11.03敲着代码听着许嵩的歌 仿佛又被带回了 当年的那个年少的自己 骑着单车听着歌 在树影斑驳的林荫道疾驰而过 卷起层层梧桐叶现在回想起来自己果然还是喜欢摄影的......今日收获：...原创 2019-11-03 11:59:30 · 190 阅读 · 0 评论 -
Hadoop_Day08-MR案例（自定义InputFormat、OutputFormat、分组求TopN、Yarn调度）)
今日收获：原创 2019-11-02 19:31:21 · 139 阅读 · 0 评论 -
Hadoop_Day07MR案例（Shuffle阶段、Reduce端Join、Map端Join、共同好友)
今日收获：原创 2019-11-02 19:27:38 · 176 阅读 · 0 评论 -
Hadoop_Day06-MR案例（排序、规约、统计求和、流量排序、号码分区）
今日收获：原创 2019-11-02 19:22:01 · 307 阅读 · 0 评论 -
Hadoop_Day05(MR案例)
今日收获：原创 2019-11-02 19:20:03 · 183 阅读 · 0 评论 -
Hadoop_Day04-HDFS（JavaAPI操作、HDFS高可用）
今日收获：原创 2019-11-02 19:15:48 · 241 阅读 · 0 评论 -
使用beeline工具连接Hive
第一步:修改hadoop的hdfs-site.xml文件在该文件中添加以下内容,开启HDFS的REST接口功能:第二步:修改hadoop的core-site.xml文件在文件中添加以下内容,设置代理用户:第三步:重启Hadoop集群第四步:启动hiveserver2服务前台启动后台启动第五步:使用beeline连接hiveserver2...原创 2019-10-30 19:34:16 · 1162 阅读 · 1 评论 -
解决：VMWare虚拟机无法开启，显示模块“Disk”启动失败
https://blog.youkuaiyun.com/qq_32693119/article/details/79236600转载 2019-10-30 18:59:27 · 2474 阅读 · 0 评论 -
Could not open client transport with JDBC Uri: jdbc:hive2://node03:10000: java.net.ConnectException:
启动beeline连接hive报错：Could not open client transport with JDBC Uri: jdbc:hive2://node03:10000: java.net.ConnectException:原因是hiveserver2没有启动起来beeline连接hive命令（注意我的节点名node03，其他人可能根据自己设置的不同）：!connect j...原创 2019-10-21 18:00:55 · 37175 阅读 · 22 评论 -
Hadoop Hive sql语法详解
详解请见:https://blog.youkuaiyun.com/hguisu/article/details/7256833转载 2019-10-20 21:24:30 · 148 阅读 · 0 评论 -
Hadoop_Day03-HDFS（命令操作、文件读写、元数据管理）
今日收获：原创 2019-09-17 21:00:53 · 180 阅读 · 0 评论 -
Hadoop_Day02之zookeeper和Hadoop安装启动集群
Zookeeper1 Zookeeper 的概述Zookeeper 是一个开源的分布式协调服务框架 ，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题[外链图片转存失败(img-zrtX0gKx-1568724853962)(assets/1-分布式文件系统.png)]####2:Zookeeper的特点Zookeeper 本质上是一个分布式文件系统, 适合存放小文件...原创 2019-09-17 20:55:38 · 380 阅读 · 0 评论 -
Hadoop_Day01Linux环境搭建、shell基础增强、ZK环境搭建
##1.大数据课程导论###1.1、大数据概念大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte = 8bit...原创 2019-09-17 20:49:37 · 751 阅读 · 0 评论 -
Day04_大数据集群,rpm,yum
1 挂载新的硬盘1.1 目标虚拟机 增加一块 硬盘1.2 路径第一步: 了解linux系统分区的原理第二步: 查看系统分区情况第三步: 虚拟机 增加 硬盘第四步: 分区第五步: 格式化第六步: 挂载第七步: 设置重启后 挂载不失效1.3 实现第一步: 了解linux系统分区的原理一个硬盘可以分成多个分区用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射...原创 2019-09-17 20:43:31 · 795 阅读 · 0 评论 -
Hadoop启动集群时NameNode或DataNode没起起来可能出现情况的解决方法
你的问题可能是这样的（jps没显示NameNode或DataNode）：第一台机器：第二台机器：第三台机器：情况一：host文件域名映射没配C:\Windows\System32\drivers\etc 找到host文件添加域名映射情况二：用SCP远程拷贝后又修改了配置文件这样就算第一台机器jps显示正常，第二台第三台机器配置文件依旧是没有同步解决方...原创 2019-09-17 01:45:23 · 3614 阅读 · 0 评论