BigData
关注
分享
扫一扫
文章平均质量分 88
adson1987
拥有Oracle11g OCM认证、MySQL8.0 OCP认证，Azure管理员认证、CKA认证，CDH大数据认证，Cloudera官方认证大数据讲师，现从事数据库解决方案相关工作。
展开
-
Bigdata-Hadoop 2.6集群安装
Bigdata-Hadoop 2.6集群安装步骤一: 先在3台虚拟机上，设置hostname及修改hosts文件步骤二：在3台虚拟机上安装jdk步骤三：在3台虚拟机上创建专门用户hadoop步骤四：配置ssh免密码登录步骤五：上传并解压hadoop2.6步骤六：修改配置步骤七：将master上的hadoop目录复制到slave01,slave02步骤八：验证环境：linux 6.4 + hado...原创 2019-05-14 09:19:59 · 4299 阅读 · 0 评论 -
Bigdata-Zookeeper 3.4.6集群安装
Bigdata-Zookeeper 3.4.6 Distributed模式集群安装第一步：主机名称到IP地址映射配置第二步：修改ZooKeeper配置文件第三步：远程复制分发安装文件第四步：设置myid第六步：安装验证ZooKeeper集群是一个独立的分布式协调服务集群，“独立”的含义就是说，如果想使用ZooKeeper实现分布式应用的协调与管理，简化协调与管理，任何分布式应用都可以使用，这就要...原创 2019-05-14 09:25:18 · 4277 阅读 · 0 评论 -
Bigdata-安装Hbase-1.1.0.1
Bigdata-安装Hbase-1.1.0.1hbase版本为1.1.0.11.下载地址为hbase-1.1.0.1-bin.tar.gz,总共98.1Mzookeeper 版本是3.4.6(zookeeper +hadoop 集群配置请查看https://blog.youkuaiyun.com/adson1987/article/details/90199859),官网下载当前3.4.6版本,had...原创 2019-05-14 09:33:38 · 4397 阅读 · 0 评论 -
Bigdata-Cloudera CDH5生产环境推荐的硬件配置
Bigdata-Cloudera CDH5生产环境推荐的硬件配置Master Node Hardware RecommendationsTypical configurations for worker nodesWorker Nodes—CPUWorker Nodes—RAMWorker Nodes—Disk首先看官方推荐的硬件配置：Master Node Hardware Recommen...原创 2019-05-14 09:53:00 · 6944 阅读 · 0 评论 -
Bigdata-CDH-Hadoop生态系统中的RPC性能瓶颈
Bigdata-CDH-Hadoop生态系统中的RPC性能瓶颈一、快汇报配置RPC 是远程过程调用 (Remote Procedure Call)，即远程调用其他虚拟机中运行的 java object。而HDFS的运行建立在RPC上，NameNode的RPC queue time指标可以显示表达这个系统当前状态。在大规模的集群中，RPC变慢的根源在于HDFS的NameNode吞吐量和性能瓶颈...原创 2019-05-14 14:18:30 · 8805 阅读 · 0 评论 -
Bigdata-使用容器编排工具compose组建Spark集群
Bigdata-使用容器编排工具compose组建Spark集群1.简介2.准备工作3.启动集群4.测试5.执行应用1.简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具...原创 2019-05-16 11:16:31 · 4386 阅读 · 0 评论 -
BigData-HDFS的块分发机制
HDFS复制分发数据块：HDFS Block Replication Strategy▪ First copy of the block is placed on the same node as the client─ If the client is not part of the cluster, the first block is placed on a randomnode─...原创 2019-05-13 13:37:11 · 4555 阅读 · 0 评论 -
Bigdata-Hbase+Geomesa+Geoserver部署并发布地图服务
Bigdata-Hbase+Geomesa+Geoserver发布地图服务安装java安装hadoop安装hbase安装geomesa安装tomcat和部署geoserver安装java1、卸载预装的java：[root@geomesa geomesa_soft]# rpm -qa|grep javatzdata-java-2017b-1.el7.noarchjava-1.8.0-ope...原创 2019-06-05 14:40:27 · 6353 阅读 · 0 评论 -
Bigdata-Hbase+Geomesa+Geoserver集群部署并发布地图服务
Bigdata-Hbase+Geomesa+Geoserver集群部署并发布地图服务基本环境配置安装java安装hadoop安装zookeeper安装hbase安装Geomesa整合geoserver基本环境配置所有节点：1.关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service2.主机名映射[...原创 2019-08-14 17:12:52 · 6712 阅读 · 6 评论