大数据
关注
分享
扫一扫
C_time
BD
展开
-
Hadoop基础介绍
？？？？？？？？？原创 2019-05-13 22:52:28 · 491 阅读 · 0 评论 -
019 Hive的join相关查询 group by、sort by、order by distributeBy、clusterBy语句 Hive的union、union all语句
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++_++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++join相关create table dept(deptno int,dname String,loc String)row format...原创 2019-06-06 23:10:43 · 968 阅读 · 0 评论 -
020 Hive的分区表创建 Hive的分区
（分到不同的目录去）第一行最后分区的关键字 partitioned by上面的语句 year就是表外字段id comment dt 就是表内字段hive的分区表创建create table if not exists comm(id int,comment String,dt String)partitioned by(year String)row format del...原创 2019-06-07 11:43:15 · 619 阅读 · 0 评论 -
021 Hive的基础数据类型和复杂数据类型 Hive常用的内部函数和排名函数
Hive的基础数据类型和复杂数据类型Arraycreate table if not exists arr1(name String,score Array<double>)row format delimited fields terminated by '\t'collection items terminated by ',';load data loca...原创 2019-06-07 14:48:26 · 393 阅读 · 0 评论 -
017 MapReduce的老版本API MapReduce中的参数传递 MapReduce中的压缩
MapReduce的老版本API原创 2019-06-02 15:33:53 · 244 阅读 · 0 评论 -
022 Hive的udf入门 Hive的udf使用 Hive的文件存储格式 Hive的serde记录格式
Hive的udf入门原创 2019-06-09 11:19:49 · 543 阅读 · 0 评论 -
023 Hive的索引 Hive的视图 Hive的执行方式
这个就没法演示了数据太大了 几十兆 视频也没给没法敲看看截图吧create external table if not exists log1(id string comment 'this is id column',phonenumber bigint,mac string,ip string,url string,tiele string,column1 strin...原创 2019-06-09 14:32:03 · 234 阅读 · 0 评论 -
024 Hive的远程模式 Hive的优化explain的查询 join设置 = 数据倾斜 job个数控制
Hive的远程模式cd /usr/local/hive-1.2.1rm -rf ./examples/2.我们第一台已经配好 所以2不用管了copy hive文件scp -r …/hive-1.2.1 hadoop02:/usr/local/scp -r …/hive-1.2.1 hadoop03:/usr/local/copy hive的配置文件scp -r /etc/...原创 2019-06-09 20:24:07 · 358 阅读 · 0 评论 -
025 Sqoop的概念及安装 Sqoop的语句 （mysql连接问题 已解决） Sqoop使用query导入和export导出
Sqoop的概念及安装hadoop生态圈中的一个迁移工具一个整合工具（hadoop和关系型数据库之间的数据迁移）tar -zxvf /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/ok修改环境变量先改个名vi /etc/profile然后更新一下看看sqoop里面的东西将学习文档删掉吧...原创 2019-06-10 21:18:12 · 1425 阅读 · 0 评论 -
azkaban安装3.x出错Could not resolve com.cinnober.gradle:semver-git:2.2.3（未解决）然后安装git和azkaban2.5.0版本
3.57.0版本azkaban 下载地址https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz然后上传到服务器然后解压到当前目录 就是home下·tar -zxvf /home/azkaban-3.57.0.tar.gz然后查看一下解压好的目录ll然后在[root@hadoop01 azkaban-3.57.0]# 目录下使用...原创 2019-07-20 11:19:23 · 764 阅读 · 0 评论 -
Zookeeper集群查看状态失败 Error contacting service. It is probably not running.
记得以前能用来着 安装Hbase突然不能用了三个机子都启动后 zkServer.sh startjps查看可以有QuorumPeerMain服务但是查探三台机子的zkServer.sh status出现Error contacting service. It is probably not running.找到安装Zookeepe时建立的存储文件夹 zkdata 我当时放到了home...原创 2019-08-02 19:32:41 · 546 阅读 · 0 评论 -
hbase的shell命令 list后ERROR: Can't get master address from ZooKeeper; znode data == null
ERROR: Can’t get master address from ZooKeeper; znode data == null这个错误原因很多网上一大堆我说我的如果你安装了HA 那么hbase的hbase-site.xml的rootdir属性不能是这个应该跟hadoop的core-site.xml的的dfs.nameservices一样 写那个虚拟的名字并将hadoop的co...原创 2019-08-02 20:45:01 · 301 阅读 · 0 评论 -
azkaban分析以及简单azkaban的使用 azkaban调用java程序 azkaban调用hdfs和MapReduce程序 azkaban调用hiveavi azkaban调用多jobsavi
2.5.0看红字将时区设置完后可以使用一种简单粗暴的方式统一时间只不过适用于我们学习阶段在工作时不可以 要按部就班的使用时间服务器 改脚本小技巧pwd获取当前路径然后拖到桌面然后登陆web页面点击创建好project然后点击upload上传后flows下会有名字出现然后点击excute flow然后你可以schedule选择时间去执行...原创 2019-07-22 09:31:23 · 1585 阅读 · 0 评论 -
Windows系统下运行hadoop、HBase程序出错Could not locate executablenull\bin\winutils.exe in the Hadoop binaries
一、看提示就是没有找到winutils.exe文件二、去github下载 一个名为 hadoop-common2.7.1-bin 的东西 下载zip格式https://github.com/zhuxishun/hadoop-common-2.7.1-bin-master三、注意 请下载与你hadoop版本对应的包 在linux下hadoop version即可知道你的版本我的是2.7.1所...原创 2019-08-08 09:46:59 · 466 阅读 · 0 评论 -
HBase全分布式搭建
1.首先 我的配置安装了jdk1.7.0_79hadoop-2.7.1zookeeper-3.4.7yarn也有昂这些不重要hive-1.2.1sqoop-1.4.6azkaban-web-2.5.0azkaban-executor-2.5.0然后下载的hbase是hbase-1.2.1版本的 可以到官网下载2.其次 最重要的是 我已经搭建了HA 高可用 安装过程吃过一次...原创 2019-08-08 14:54:56 · 272 阅读 · 0 评论 -
016 MapReduce的多表的join连接 MapReduce中的二次排序 MapReduce中的依赖执行
多表的join连接原创 2019-06-01 12:00:17 · 382 阅读 · 0 评论 -
018 Hive的概念介绍 Hive的安装 Hive的基本命令 mysql的安装
Hive的概念介绍Hive的安装Hive的基本命令原创 2019-06-05 16:59:20 · 380 阅读 · 0 评论 -
015 MapReduce中自定义数据类型 MapReduce中的Top-n
mr中的常用数据类型TextIntWritableVIntWritableDoubleWritablefloatWritableshortWritablelongWritableVLongWritablebyteWritablebooleanWritableNullWritableMapWritable自定义数据类型Top-N数据hello qianfeng hel...原创 2019-05-30 23:13:19 · 247 阅读 · 0 评论 -
003 Shell脚本编程1 shell介绍 shell运行环境和运行方式 shell变量类型 shell数组 shell注释 数学运算符 关系运算符 布尔运算符 字符串运算符 文件测试运算符
centos自带的就有好多 其中最常见的是bash这个例子进入编辑我的第一个shell脚本程序第一句写井号感叹号然后写解释器目录例如 #!/bin/bash 这是一种约定俗称的写法然后写内容 打印一句话helloworld保存退出然后怎么运行呢一种加上可执行的权限一种是加上解释器来执行刚开始时不能执行的 没有权限加上 chmod 744 ./firstshell后...原创 2019-05-19 11:22:07 · 277 阅读 · 0 评论 -
004 shell脚本编程2 shell中的ifelse shell中的循环 casein continue break shell中的方法 shell中的文件引入 shell中脚本的调试
截图上也说了要写成一行 要用分号来分隔的写if 结束必须有fi反制写if 必须跟着then单一的一个if then elseelse后面不能有then要是多个条件if thenelifthenelsefi没有else if 只有 elif 后面必须跟thenelse 后面不能跟then循环while for utilfor例子seq 1 20 虚拟化...原创 2019-05-20 16:28:19 · 266 阅读 · 0 评论 -
005 Hadoop简单介绍 Hadoop单机版安装及应用 hdfs相关内容介绍 hdfs文件读写流程 Yarn概念的讲解 Yarn的流程介绍
官网的内容http://hadoop.apache.org/Welcome to Apache™ Hadoop®!What Is Apache Hadoop?The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.灵活的 可扩展的 分布式...原创 2019-05-20 20:50:49 · 230 阅读 · 0 评论 -
006 克隆虚拟机 克隆服务器
关机状态下右击虚拟机管理 克隆完整克隆起名字选位置然后就可以了启动新创建的hadoop02需要做一些配置能让Windows连接上我们的服务器克隆完的虚拟机 大概要改4个地方1.修改网卡信息密码跟原来的一样 都是root我们ifconfig看看好像是不对我们自己修改回车后有两个网卡 eth0（以前的hadoop1的） 需要dd删除掉我们使用第二个eth1 需要...原创 2019-05-20 22:04:01 · 482 阅读 · 0 评论 -
007 Hadoop集群配置 Hadoop集群的启动和测试 SSH免登陆配置（ start-all.sh） hdfs常用的shell
Hadoop集群配置原创 2019-05-21 21:39:26 · 758 阅读 · 0 评论 -
011 Hdfs的ha高可用配置 Hdfs的ha测试
1.Hdfs的ha配置2.Hdfs的ha测试原创 2019-05-26 21:59:35 · 627 阅读 · 0 评论 -
012 Yarn的ha配置和测试
（要先看hdfs的ha配置再看这个 这个·有很多省略 上一篇说的比较详细）官网配置网址http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html仍然使用notepad++的插件功能连接hadoop01然后找到usr下的local下的hadoop-2.7.1下的etc下的...原创 2019-05-26 23:14:49 · 386 阅读 · 0 评论 -
001 Linux命令基础
常用帮助命令man lshelp --lsinfo ls常用man ls按q退出ps -efps -fe查看进程ps -ef | grep xxxx gang为管道下 grep是过滤 然后写要查看的进程ps -ef | grep java 查看当前java进程| 管道cmd1 | cmd2 将cmd1输出结果交给cmd2命令来执行grep过滤grep sshd /va...原创 2019-05-17 19:35:29 · 593 阅读 · 0 评论 -
014 Shuffle的概念介绍 Shuffle的细节图描述 分区案例 倒排索引案例
Awk和MapReduce的处理方式比较原创 2019-05-30 17:20:12 · 828 阅读 · 2 评论 -
002Linux中 特殊符号 防火墙启停 sudoer的配置 二进制包的安装 rpm的简介和安装 虚拟机外网的连接 Yum在线安装 本地yum源的制作 源码包安装 nginx安装和使用
特殊符号的含义cd ~ 到当前用户的家目录cd - 回退到上一次所在位置cd …/ 点点 代表上一层目录cd ./关闭防火墙service iptables status/start/stop/restartchkconfig iptables --listservice iptables off/on网卡启动停止...原创 2019-05-18 19:44:08 · 426 阅读 · 0 评论 -
013 Mapreduce相关概念WordCount框架搭建WordCount的map和reduce函数实现 WordCount的驱动类编写WordCount测试MapReduce数学案例运算 AWK
Mapreduce的相关概念原创 2019-05-27 23:03:14 · 425 阅读 · 0 评论 -
008 Maven的安装（曲折） Java读取hdfs文件 Java操作hdfs文件系统（打印 下载 上传文件） shell删除命令
Maven的安装原创 2019-05-23 17:11:50 · 349 阅读 · 0 评论 -
009 Rpc协议介绍 Rpc案例
RpcYarn中的Rpc协议hadoop2.x中的RpcRpc案例写个程序模拟NameNode和DataNode之间的通信Rpc是CS模式 有客户端和服务端所以先写一个协议（就是个接口）package qf.com.rpc;/**@author Shishuai E-mail：1198319583@qq.com*@version Create time ：...原创 2019-05-23 18:51:26 · 335 阅读 · 0 评论 -
010 Zookeeper的基本概念 Zookeeper的集群搭建 Zookeeper的shell命令
1.Zookeeper的基本概念是一个分布式服务的协调服务Zookeeper是强一致性 立马能看到结果Zookeeper能管理分布式服务这些server中有一个叫LeaderZookeeper是奇数台服务器Zookeeper的节点既是目录又是文件因为它每个节点都能存储数据（但是只能存储少量数据 因为Zookeeper只是协调服务）而Linux的节点只能是目录 只有最...原创 2019-05-23 21:36:39 · 409 阅读 · 0 评论 -
Application state is completed. FinalApplicationStatus=FAILED. Redirecting to job history server
先贴图我是执行Hbase的mr出现的错误 在它执行完输出结果之后出现了错误刚开始找解决办法java.net.ConnectException: Call From hadoop01/192.168.37.111 to 0.0.0.0:10020 failed on connection exception: 一直在搜索出现的异常没注意到第一句话mapred.ClientServiceD...原创 2019-08-19 10:23:18 · 1321 阅读 · 0 评论