
大数据-随记
billycoder
billy是个coder!
展开
-
分析137份大数据简历-统计技术名词词频
数据来自137分市面简历以下结果来自 137 份简历hive : 466kafka : 381spark : 371flume : 336txt : 277mysql : 256hbase : 241hadoop : 239it : 231hdfs : 210app : 198html : 158id : 158doctypehtml : 137java : 1...原创 2019-03-15 14:24:56 · 526 阅读 · 0 评论 -
zookeeper集群搭建
1. 安装前需要安装好jdk2. 检测时间同步检测集群时间是否同步3. 检测防火墙是否关闭4. 检测主机 ip映射有没有配置查看hosts配置5. 下载安装包、解压tar -zxvf zookeeper-3.4.5.tar.gz #解压mv zookeeper-3.4.5 zookeeper #重命名rm –...原创 2019-04-01 06:00:33 · 134 阅读 · 0 评论 -
vmare安装centos的iso镜像
linux安装1. 准备工作准备2. 镜像安装linux桥接:虚拟机和本机在一个局域网nat:虚拟机上网使用本机网络,一个人都可以有254个ip可以选择.后面就等就好了…...原创 2019-04-01 06:01:03 · 155 阅读 · 0 评论 -
zookeeper集群一键启动_停止_查看状态
1. 前提三台linux为node-01、node-02、node-03;配置好了hosts;配置好了免密登录;2. 配置环境变量3. 查看脚本脚本位置脚本内容4. 效果演示...原创 2019-04-03 07:44:09 · 1139 阅读 · 0 评论 -
大数据库随记-hadoop简介
hadoop是什么?Hadoop就是为大数据应运而生、Hadoop 框架是用 Java 编写的、Hadoop是Apache下的子项目、Hadoop是分布式系统基础架构,它主要是用于大数据的处理、Hadoop可以看成是一个平台或者生态系统。Hadoop生态系统包含哪些组件?有分布式存储HDFS,有并行计算 MapReduce,有NoSQL数裾库的HBase,有数据仓库工具 Hive, 有 ...原创 2019-04-03 07:44:29 · 308 阅读 · 0 评论 -
大数据随记-1-大数据介绍以及就业前景
大数据是什么?其实我们生活在大数据时代,大数据其实有4个特征,我们应该首先想到的就应该是数据量比较大。说到数据量,我们就应该想到数据量的单位。从bit、Byte、KB、MB、GB、TB到PB、EB、ZB、YB。给一个形象的例子:一张电报:100字节一个笑话:1KB一页书籍:10KB一张低分辨率照片:100KB一部微型小说:1MB一次胸透视:10MB两章百科全书:100MB一卷磁...原创 2019-04-03 07:45:03 · 447 阅读 · 0 评论 -
大数据随记-hdfs
HDFS是什么?HDFS是 Hadoop Distribute File System (Hadoop 分布式文件系统)的简称,是 Hadoop 的一个分布式文件系统。HDFS主要特性?1. 主从结构。一个HDFS集群是由一个名字节点(NameNode)和多个数据节点(DataNode)组成,它们通常配置在不同的机器上。2. 大文件分割HDFS优化了大文件的流式读...原创 2019-04-03 07:45:24 · 260 阅读 · 0 评论