
大数据
林与夕
这个作者很懒,什么都没留下…
展开
-
分布式spark-2.1.0-bin-hadoop2.6集群环境搭建
安装spark之前需要安装scala-2.12.6 spark初始目录状态 配置scala环境变量 vim ~/.bash_profile export SCALA_HOME=/home/hadoop/spark/scala-2.12.6 ${SCALA_HOME}/bin 键入source ~/.bash_profile使scala环境变量立刻生效 键入scala...原创 2018-11-01 22:38:04 · 1077 阅读 · 0 评论 -
分布式HBase-1.2.1集群环境搭建
分布式HBase-1.2.1 HBase是一个分布式的列式数据库,适合键值对的数据存取或者有序的数据存取 hdfs适合批处理,不支持随机查找,不适合增量数据,不支持数据更新 hbase时hdfs的很好补充 行式存储和列式存储 如果我们大部分时间需要关注整张表的内容而不是单独几列,并且所关注的内容是不需要通过任何聚集运算的,推荐使用行式存储 如果比较关注的都是几列的内容,或者...原创 2018-11-01 22:41:37 · 631 阅读 · 0 评论 -
zookeeper-3.4.10分布式集群环境搭建
目录 1.初始机器状态 2.修改所有机器上的zk环境变量 3.修改配置文件zoo.cfg 4.根据zoo.cfg到各个机器上手动创建dataDir目录 5.根据zoo.cfg到各个机器上手动创建myid文件 6.每台机器都要启动zk 7.查看zk的状态 8.批量启动zk脚本开发 9.zk集群结构 10.zk的基本使用 11.zk的客户端api基本使用 1....原创 2018-11-01 21:58:53 · 1062 阅读 · 4 评论