billycoder的专栏

数据来自137分市面简历 以下结果来自 137 份简历 hive : 466 kafka : 381 spark : 371 flume : 336 txt : 277 mysql : 256 hbase : 241 hadoop : 239 it : 231 hdfs : 210 app : 198 html : 158 id : 158 doctypehtml : 137 java : 1...

1. 安装前需要安装好jdk 2. 检测时间同步 检测集群时间是否同步 3. 检测防火墙是否关闭 4. 检测主机 ip映射有没有配置 查看hosts配置 5. 下载安装包、解压 tar -zxvf zookeeper-3.4.5.tar.gz #解压 mv zookeeper-3.4.5 zookeeper #重命名 rm –...

linux安装 1. 准备工作 准备 2. 镜像安装linux 桥接:虚拟机和本机在一个局域网 nat:虚拟机上网使用本机网络,一个人都可以有254个ip可以选择. 后面就等就好了… ...

1. 前提 三台linux为node-01、node-02、node-03； 配置好了hosts； 配置好了免密登录； 2. 配置环境变量 3. 查看脚本 脚本位置 脚本内容 4. 效果演示 ...

hadoop是什么？ Hadoop就是为大数据应运而生、Hadoop 框架是用 Java 编写的、Hadoop是Apache下的子项目、Hadoop是分布式系统基础架构，它主要是用于大数据的处理、Hadoop可以看成是一个平台或者生态系统。 Hadoop生态系统包含哪些组件？ 有分布式存储HDFS，有并行计算 MapReduce，有NoSQL数裾库的HBase,有数据仓库工具 Hive, 有 ...

大数据是什么? 其实我们生活在大数据时代，大数据其实有4个特征，我们应该首先想到的就应该是数据量比较大。 说到数据量，我们就应该想到数据量的单位。从bit、Byte、KB、MB、GB、TB到PB、EB、ZB、YB。给一个形象的例子： 一张电报:100字节 一个笑话:1KB 一页书籍:10KB 一张低分辨率照片:100KB 一部微型小说:1MB 一次胸透视:10MB 两章百科全书:100MB 一卷磁...

HDFS是什么？ HDFS是 Hadoop Distribute File System （Hadoop 分布式文件系统）的简称，是 Hadoop 的一个分布式文件系统。 HDFS主要特性？ 1. 主从结构。 一个HDFS集群是由一个名字节点（NameNode）和多个数据节点（DataNode）组成，它们通常配置在不同的机器上。 2. 大文件分割 HDFS优化了大文件的流式读...