- 博客(14)
- 收藏
- 关注
RSS订阅原创 浙江创邻科技两道笔试题答案
1. 小明的女朋友最喜欢在网上买买买了，可是钱包里钞票有限，不能想买啥就买啥。面对琳琅满目的物品，她想买尽可能多的种类，每种只买一件，同时总价格还不能超过预算上限。于是她请小明写程序帮她找出应该买哪些物品，并算出这些物品的总价格。 输入规范： 每个输入包含两行。第一行是预算上限。第二行是用空格分隔的一组数字，代表每种物品的价格。所有数字都为正整数并且不会超过10000。 输出规范： 对每个输...
2019-09-27 10:08:52
951
原创 azkaban的原理与安装使用
azkaban： crontab：计划任务 定时任务 crontab -e * * * * * shell m h d M w 工作流调度的： crontab 只能执行 定时任务的 两个任务： 任务1 任务2 想在任务1执行完成之后开始执行 相互之间有依赖关系的任务 复杂的任务 crontab不能满足调度的 oozie： 特点： 1）解决复杂的任务调度 基于定时任务的...
2018-10-30 20:15:09
862
原创 sqoop的概念和安装
sqoop： 概念及功能： 数据迁移的，数据移动 原来数据管理是集中式管理 将原来的集中式管理的数据 移动到分布式平台下 sqoop就是将传统的关系型数据库的数据和大数据据平台之间的数据迁移 迁移有两个方向： 1）关系型数据库mysql/oracle----》大数据平台（hadoop,hive,hbase） 数据导入 2）大数据平台（hadoop hive hbase）----》关系型数据库...
2018-10-30 20:11:42
339
原创 Hadoop HA的相关原理和搭建
ha的原理 hadoop的ha high avalible 高可用集群 hadoop的搭建方式5种 单机 伪分布式 完全分布式 高可用 联邦+高可用 高可用的模式： 为了解决完全分布式的主节点的单点故障的问题 解决方案：在这个集群中 同一时间有2个主节点 但是只有一个 是对外提供服务的 另外一个实时处于热备状态 我们将对外提供服务的称为active的 热备的称为standby 以name...
2018-10-30 20:05:16
246
原创 zookeeper的应用场景和相关理论
zk的应用场景 用监听机制监听自身的znode的变化 1）命名服务： 全局统一命名服务 同一个文件3个副本 修改文件名 怎么保证3个副本文件名一样 将全局统一的命名放在zk的znode的节点的存储内容上 哪一个客户端对这个感兴趣就可以添加监听 2）配置文件管理 安装hadoop集群的时候 集群中的每一个节点配置文件统一 zk管理配置文件的时候 1）配置文件的内容是否修改 2）配置文件是否新...
2018-10-30 19:58:38
179
原创 zookeeper两大核心与API
zookeeper的两大核心 文件系统 存储 进入zk的客户端： zkCli.sh [zk: localhost:2181(CONNECTED) 0] 1)zk的文件系统 和linux的文件系统目录结构一样 从/开始的 2）zk的路径访问方式 只有绝对路径 没有相对路径...
2018-10-30 19:56:24
457
原创 zookeeper的安装与启动
zookeeper的安装： java 准备：安装jdk1.8 zookeeper版本：3.4.10 安装节点：奇数台 255台 3-11台 安装3台 hadoop01 hadoop02 hadoop03 步骤： 1）上传 2...
2018-10-30 19:41:52
268
原创 zookeeper的产生背景和概念
zookeeper: 背景 集中式管理 集中式的一致性问题 mysql---事务 分布式概念 分布式如何保证数据一致性问题？ 多个节点之间如何做到各个节点的数据或状态的一致性 1）hadoop的ha 两个namenod...
2018-10-30 19:36:20
981
原创 mapreduce面试题一
1.编写程序统计出HDFS文件系统中文件大小小于HDFS集群中的默认块大小的文件占比 比如：大于等于128M的文件个数为98，小于128M的文件总数为2，所以答案是2% package com.test.a; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSy...
2018-10-18 20:45:33
573
原创 hive的数据组织格式和基本操作
hive的数据组织格式: 库： 管理数据 不同模块的数据最好放在不同的数据库中 同mysql中的数据库的概念 表： 内部表：管理表/managed_table 表的创建 表的数据的删除 都是有hive自己决定的 同mysql中的表 内部表在进...
2018-10-18 18:41:13
755
原创 hive安装
hive的安装 hive的最新版本3.1 hive2.3.2版本 下载包： http://mirrors.hust.edu.cn/apache/hive/ http://mirrors.shu.edu.cn/apache/hive/ http://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 如果...
2018-10-18 18:38:58
578
原创 什么是hive？
hive概念 hive的产生背景： mapreduce----统计分析 用于这个统计分析的数据 都是结构化的数据 以后生产中 接触的数据大部分都是结构化数据 如果数据量比较小的时候： 最好的解决方案 mysql math,wangbaoqiang,85 ...
2018-10-18 18:32:55
1855
原创 Mapreduce如何获取读取文件夹下文件的名字
需要注意的导包的时候导这两个包 import org.apache.hadoop.mapreduce.InputSplit; import org.apache.hadoop.mapreduce.lib.input.FileSplit; --------------------- 作者：闻雷 来源：优快云 ...
2018-10-17 20:29:33
1679
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人