- 博客(14)
- 收藏
- 关注
RSS订阅原创 浙江创邻科技两道笔试题答案
1.小明的女朋友最喜欢在网上买买买了，可是钱包里钞票有限，不能想买啥就买啥。面对琳琅满目的物品，她想买尽可能多的种类，每种只买一件，同时总价格还不能超过预算上限。于是她请小明写程序帮她找出应该买哪些物品，并算出这些物品的总价格。输入规范：每个输入包含两行。第一行是预算上限。第二行是用空格分隔的一组数字，代表每种物品的价格。所有数字都为正整数并且不会超过10000。输出规范：对每个输...
2019-09-27 10:08:52
938
原创 azkaban的原理与安装使用
azkaban：crontab：计划任务 定时任务crontab -e* * * * * shellm h d M w工作流调度的：crontab 只能执行 定时任务的两个任务：任务1任务2 想在任务1执行完成之后开始执行相互之间有依赖关系的任务 复杂的任务 crontab不能满足调度的 oozie： 特点： 1）解决复杂的任务调度 基于定时任务的...
2018-10-30 20:15:09
830
原创 sqoop的概念和安装
sqoop：概念及功能：数据迁移的，数据移动原来数据管理是集中式管理将原来的集中式管理的数据 移动到分布式平台下sqoop就是将传统的关系型数据库的数据和大数据据平台之间的数据迁移迁移有两个方向：1）关系型数据库mysql/oracle----》大数据平台（hadoop,hive,hbase）数据导入2）大数据平台（hadoop hive hbase）----》关系型数据库...
2018-10-30 20:11:42
321
原创 Hadoop HA的相关原理和搭建
ha的原理hadoop的ha high avalible 高可用集群hadoop的搭建方式5种单机伪分布式完全分布式高可用联邦+高可用高可用的模式：为了解决完全分布式的主节点的单点故障的问题解决方案：在这个集群中 同一时间有2个主节点 但是只有一个是对外提供服务的 另外一个实时处于热备状态我们将对外提供服务的称为active的 热备的称为standby以name...
2018-10-30 20:05:16
230
原创 zookeeper的应用场景和相关理论
zk的应用场景用监听机制监听自身的znode的变化1）命名服务：全局统一命名服务同一个文件3个副本 修改文件名 怎么保证3个副本文件名一样将全局统一的命名放在zk的znode的节点的存储内容上哪一个客户端对这个感兴趣就可以添加监听2）配置文件管理安装hadoop集群的时候 集群中的每一个节点配置文件统一zk管理配置文件的时候1）配置文件的内容是否修改2）配置文件是否新...
2018-10-30 19:58:38
169
原创 zookeeper两大核心与API
zookeeper的两大核心 文件系统 存储 进入zk的客户端： zkCli.sh [zk: localhost:2181(CONNECTED) 0] 1)zk的文件系统 和linux的文件系统目录结构一样 从/开始的 2）zk的路径访问方式 只有绝对路径 没有相对路径...
2018-10-30 19:56:24
439
原创 zookeeper的安装与启动
zookeeper的安装： java 准备：安装jdk1.8 zookeeper版本：3.4.10 安装节点：奇数台 255台 3-11台 安装3台 hadoop01 hadoop02 hadoop03 步骤： 1）上传 2...
2018-10-30 19:41:52
254
原创 zookeeper的产生背景和概念
zookeeper: 背景 集中式管理 集中式的一致性问题 mysql---事务 分布式概念 分布式如何保证数据一致性问题？ 多个节点之间如何做到各个节点的数据或状态的一致性 1）hadoop的ha 两个namenod...
2018-10-30 19:36:20
963
原创 mapreduce面试题一
1.编写程序统计出HDFS文件系统中文件大小小于HDFS集群中的默认块大小的文件占比比如：大于等于128M的文件个数为98，小于128M的文件总数为2，所以答案是2% package com.test.a; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSy...
2018-10-18 20:45:33
563
原创 hive的数据组织格式和基本操作
hive的数据组织格式: 库： 管理数据 不同模块的数据最好放在不同的数据库中 同mysql中的数据库的概念 表： 内部表：管理表/managed_table 表的创建 表的数据的删除 都是有hive自己决定的 同mysql中的表 内部表在进...
2018-10-18 18:41:13
738
原创 hive安装
hive的安装 hive的最新版本3.1 hive2.3.2版本 下载包： http://mirrors.hust.edu.cn/apache/hive/ http://mirrors.shu.edu.cn/apache/hive/ http://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 如果...
2018-10-18 18:38:58
561
原创 什么是hive？
hive概念 hive的产生背景： mapreduce----统计分析 用于这个统计分析的数据 都是结构化的数据 以后生产中 接触的数据大部分都是结构化数据 如果数据量比较小的时候： 最好的解决方案 mysql math,wangbaoqiang,85 ...
2018-10-18 18:32:55
1832
原创 Mapreduce如何获取读取文件夹下文件的名字
需要注意的导包的时候导这两个包 import org.apache.hadoop.mapreduce.InputSplit; import org.apache.hadoop.mapreduce.lib.input.FileSplit;--------------------- 作者：闻雷来源：优快云 ...
2018-10-17 20:29:33
1665
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人