- 博客(15)
- 收藏
- 关注
RSS订阅原创 mr相关代码
jobmain package com.naixue.sort; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
2022-04-02 04:35:29
376
原创 面试题整理
一、输入网址浏览器做了什么 二、三次握手 三、hadoop高可用原理 四、进程和线程的区别以及通信方式 五、zk选举机制 六、hive和HBASE的区别 七、kafka为什么快 八、flume介绍 九、mapreduce运行原理 十、mapreduce shuffle过程 十一、mysql语句的执行过程 十二、mysql多表查询 十三、mysql索引与创建 十四、B+树 ...
2021-12-20 21:32:27
859
原创 zookeeperApi操作
import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.ZooDefs; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.data.ACL; import org.apache.zookeeper.data.Stat; import java.text.SimpleDateFormat; import java.util.Date; impo
2021-07-03 20:03:17
229
1
原创 HBase
HBase数据库介绍 HBase 是 BigTable 的开源 java 版本。 建立在 HDFS 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的NoSQL 数据库系统。 NoSQL的两种解释，更精确的是后者 NoSQL = NO SQL NoSQL = Not Only SQL NoSQL：HBase, Redis, MongoDB RDBMS：MySQL,Oracle,SQL Server,DB2 以下几点是HBase 这个 NoSQL 数据库的要点： 1、它仅能通过主键(row key)和主
2021-06-21 10:26:22
179
原创 Hive简介
什么是 Hive Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据 映射 为一张数据库表，并提供HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。Hive 的本质是将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便地利 用 HQL 处理和计算 HDFS 上的结构化的数据，适用于离线的批量数据计算。 数据仓库之父比尔·恩门（Bill Inmon）在 1991 年出版的“Building t
2021-06-20 10:50:07
2241
原创 MapReduce中Shuffle原理剖析和资源调度 框架YARN详解
MapReduce中Shuffle原理详解 1、概述 1、MapReduce 中，map 阶段处理的数据如何传递给 reduce 阶段，是 MapReduce 框架中最关键的 一个流程，这个流程就叫 Shuffle； 2、Shuffle: 数据汇洗 就是将 maptask 输出的处理结果数据，分发给 reducetask。 2、主要流程 Shuffle 是 MR 处理流程中的一个过程，它的每一个处理步骤是分散在各个 map task 和 reduce task 节点上完成的，整体来看，分为4个操作： 1
2021-06-20 09:40:44
358
原创 mapreduce
mapreduce介绍 hadoop 的四大组件： HDFS：分布式存储系统 MapReduce：分布式计算系统 YARN：资源调度系统 Common：以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据应用” 的核心框架 。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布 式运算程 序，并发运行在一个 Hadoop 集群上。 为什么需要mapreduce 为什
2021-06-20 09:21:39
253
原创 Zookeeper总结
一、zookeeper介绍 ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby一个开源的实现。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务 比如分布式同步，配置管理，集群管理，命名管理，队列管理。它被设计为易于编程，使用文 件系统目录树作为数据模型。 服务端跑在 java上，提供 java 和 C 的客户端 API， 众所周知，协调服务非常容易出错，但是却很难恢复正常，例如，协调服务很容易处于 竞态以至于出现死锁。 我们设计 ZooKe
2021-06-19 09:06:37
268
原创 如何更好地学习HDFS
一、HDFS设计思想 要把存入到集群中的数据均匀的分散的存储到整个集群中。 核心设计思想 ! 1 分散存储 一个大的文件想要进行存储，必须要借助分布式文件存储系统这个分布式存储系统怎么存文件：把大的文件进行切分，“分而治之”，然后存储，最小单位为：块，大小：128M； 2 冗余存储 整个HDFS集群是存储在多个不是特别可靠的服务器上面，所以要保住数据的安全性，策略：副本冗余 冗余的数量可以在hdfs-site.xml 修改dfs.replicaton。 二、HDFS架构 主从架构 1、name
2021-06-03 11:32:51
143
原创 map的分类和常见的情况
java为数据结构中的映射定义了一个接口Java.util.Map;它有四个实现类，分别是HashMap，Hashtable，LinkedhashMap，TreeMap。 Map主要用于存储键值对，根据键得到值，因此不允许键重复，但允许值重复。 Hashmap是一个最常用的Map，它根据键的HashCode值存储数据，根据键可以直接获取它的值，具有很快的访问速度，遍历时，取得·数据的顺序是完全随机的。HashMap最多只允许一条记录的键为Null，允许多条记录的值为Null，HashMap不支持线程的同步，
2021-04-25 10:36:46
336
原创 Linux压缩打包
1、gzip压缩：gzip ma.txt 2、gzip解压缩：gzip -d ma.txt.gz 或者 gunzip ma.txt.gz 3、bzip2压缩：bzip2 ma.dat 4、bzip2解压缩：bzip2 -d ma.dat.bz2 或者 bunzip2 ma.dat.bz2 5、打包：tar -cvf ma.txt.tar ma.txt 6、追加打包：tar -rvf ma.txt.tar ma.dat 表示将ma.dat文件追加到ma.txt.tar当中 7、解包：tar -xv
2021-03-18 22:22:58
157
原创 Linux网络管理
查看主机名：cat /etc/hostname (centos6) 修改主机名： 1、临时修改：hostname newname 2、永久生效：vim /etc/hostname 3、删除主机名：hostnamect1 set-hostname DNS管理： vim/etc/NetworkManager/NetworkManager.conf 增加配置：dns=none vim/etc/resolv,conf 增加以下内容: #主DNS nameserver 备dns nam...
2021-03-17 11:16:44
248
原创 Linux编辑器vim相关概念
一：模式转换 vi 编辑器 有三种模式 1 编辑模式 插入模式 2 命令模式 编辑模式 3 底行模式 命令行模式 vim是vi的增强版 模式转换的核心操作： 1、vi temp.txt进入到命令模式 2、如果要更改文件内容，先使用a，i，o进入到插入模式 3、移动光标到要更改的位置，进行编辑 4‘先按键ESC回退到命令模式 5、在进入到底行模式 6、再使用命令来保存退出 保存：w 退出：q 7、q！：强制退出 二：常用快捷键 a：光标后一位开始插入 A：再该行...
2021-03-16 22:14:11
112
原创 2021-03-14
Linux命令大全 linux命令格式：命令 [命令选项] [命令参数] 三者之间用空格隔开 [命令选项]分为长格式 '--'和短格式'-' Linux的命令提示符：#：管理员用户 $:普通用户 帮助文档：man 命令 或者 命令 --help 帮助链接：http://man.linuxde.net //http://www..net/linux/ https://jaywc.jlove.github.io.linux-command/ 命令分类： 文件管理：1.c...
2021-03-15 22:59:07
107
原创 2021-03-03
windows常用命令提示符 打开"运行"对话框（Win+R），输入cmd，打开控制台命令窗口... 1获取帮助 command/？ 2 中断命令执行 3 目录操作 cd：显示当前目录 cd..返回上一级目录 md c:\目录名：在c盘下建立新目录 dir：显示目录的内容 tree：显示目录结构 ren：文件或者目录重命名 rd;删除目录 copy：拷贝文件 move：移动文件 del：删除文件 ...
2021-03-03 08:47:22
114
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人