- 博客(17)
- 收藏
- 关注
RSS订阅原创 如何配置HA
一:配置HDFS-HA集群 1. 官方地址：http://hadoop.apache.org/ 2. 在opt目录下创建一个ha文件夹 mkdir ha 3. 将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下 cp -r hadoop-2.7.2/ /opt/module/ha/ 4. 配置hadoop-env.sh export JAVA_HOM...
2020-05-04 18:15:55
1001
原创 Zookeeper内部原理
1 节点类型 2 Stat结构体 1）czxid-创建节点的事务zxid 每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。 事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。 2）ctime - znode被创建的毫秒数(从1970年开始) 3）mzxid...
2020-05-02 11:47:06
242
原创 Zookeeper安装使用
Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.2 特点 1.3 数据结构 1.4 应用场景 提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。 Zookeeper安装 2.1 本地模...
2020-04-29 23:42:29
292
原创 Hadoop企业优化
MapReduce优化方法 MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。 数据输入 Map阶段 Reduce阶段 I/O传输 数据倾斜问题 常用的调优参数 1．资源相关参数 （1）以下参数是在用户自己的MR应用程序中配置...
2020-04-28 20:39:02
200
原创 MapReduce
Map Join 1．使用场景 MapJoin适用于一张表十分小、一张表很大的场景。 2．优点 思考：在Reduce端处理过多的表，非常容易产生数据倾斜。怎么办？ 在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。 3．具体办法：采用DistributedCache （1）在Mapper的setup阶段，将文件读取到缓...
2020-04-23 18:41:35
297
原创 自定义outputformat实例
自定义OutputFormat案例实操 1．需求 过滤输入的log日志，包含atguigu的网站输出到e:/atguigu.log，不包含atguigu的网站输出到e:/other.log。 （1）输入数据 （2）期望输出数据 2．需求分析 3．案例实操 （1）编写FilterMapper类 package com.atguigu.mapredu...
2020-04-23 00:06:06
902
原创 HDFS笔记2
HDFS文件上传（测试参数优先级） 1．编写源代码 @Test public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configuration configuration = ne...
2020-04-14 21:37:29
310
原创 HDFS笔记
1 HDFS概述 1.1HDFS定义 1.2HDFS优点 1.3HDFS缺点 1.4HDFS组成架构 1.5HDFS文件快大小 1.6思考 2 HDFS的Shell操作 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2．命令大全 [atguigu@hadoop102 ...
2020-04-13 17:19:08
245
原创 大数据仓库项目之行为数据
1三范式区分 关系建模与维度建模 关系模型 关系模型主要应用与OLTP系统中，为了保证数据的一致性以及避免冗余，所以大部分业务系统的表都是遵循第三范式的。 维度模型 维度模型主要应用于OLAP系统中，因为关系模型虽然冗余少，但是在大规模数据，跨表分析统计查询过程中，会造成多表关联，这会大大降低执行效率。 所以把相关各种表整理成两种：事实表和维度表两种。所有维...
2020-04-08 16:55:06
400
原创 大数据仓库项目day7
自定义UDF函数（解析公共字段） 1）创建一个maven工程：hivefunction 2）创建包名：com.atguigu.udf 3）在pom.xml文件中添加如下内容 <properties> <project.build.sourceEncoding>UTF8</project.build.sourceEncoding> ...
2020-04-05 17:55:42
318
原创 大数据仓库项目day6
1数仓搭建之ODS& DWD 1.1 创建数据库 1）创建gmall数据库 hive (default)> create database gmall; 说明：如果数据库存在且有数据，需要强制删除时执行：drop database gmall cascade; 2）使用gmall数据库 hive (default)> use gmall; 1.2 ODS层 ...
2020-04-03 19:35:21
297
原创 大数据仓库项目day5
1 hive安装 1．Hive安装及配置 （1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下 （2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ （3）修改apa...
2020-04-02 19:44:15
193
原创 大数据仓库项目day4
1 接着day3的kafka 之前安装好了 在/home/atguigu/bin目录下创建脚本kf.sh [atguigu@hadoop102 bin]$ vim kf.sh 在脚本中填写如下内容 #! /bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 ...
2020-04-01 17:30:27
350
原创 大数据仓库项目day3
1 添加zk启动停止脚本 内容为: #! /bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh start" done };; "stop"){ for i in hadoop10...
2020-03-31 18:54:02
232
原创 hadoop集群搭建day2
1 .1 hadoop-lzo-0.4.20.jar的添加 把hadoop-lzo-0.4.20.jar移动到/opt/module/hadoop-2.7.2/share/hadoop/common/ 同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104 [hadoop100@hadoop102 common]$ xsync hadoop-lzo-0.4...
2020-03-30 21:16:42
310
1
原创 hadoop集群搭建day1
1. 克隆虚拟机 创建的虚拟机注意事项: 磁盘分区的时候创建自定义布局，这里要注意都是标准分区。boot分200M，swap形态分区给2G，剩下的全都给硬盘。 vmnet8地址 192.168.140 所以虚拟机映射 vim/etc/hosts 192.168.140.101 hadoop101 192.168.140.102 hadoop102 192.168.1...
2020-03-29 20:31:49
235
原创 运动会分数统计问题
@史上最全的运动会分析问题TOC 一、需求分析 1:各项目结束时，输入前三名或前五名的项目编号、运动员姓名、校名和名次（成绩）； 2:产生各学校的成绩单，内容包括每个学校所取得的每项成绩的项目号、名次（成绩）、姓名和得分，并统计各学校总分； 3:可以按学校编号、男女团体总分排序输出； 4:可以按学校编号查询学校某个项目的情况； 5:可以按项目编号查询取得前三或前五名的学校。 二、概要设计 1.文字...
2020-01-07 14:15:32
2079
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人