大数据创新开发者、大数据技术开发、创新性大数据分享

spark调优、大数据调优、spark优化

本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。说明按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： yarn-client模式、yarn-cluster模式。当在YARN上运行Spark作业，每个Spark

五、hive的安装(不同版本的hadoop尽量找相对应hive版本)1、下载hive安装包---apache-hive-1.1.1-bin.tar2、解压安装到opt下面  tar -zxvf apache-hive-1.1.1-bin.tar -C ~/opt/3、配置环境变量sudo gedit /etc/profile在下面增加export

kafka集群搭建，配置参数详细，快速完成，并且附带检测

集群搭建ElasticSearch的集群我还是以elasticsearch-2.3.1版本为例。在开始集群搭建之前，我先给大家一点建议，在看elasticsearch-2.3.1的配置文件之前，先看elasticsearch低版本的配置文件，例如：1.6，因为低版本的配置文件的英文解释比较多，而且比较透彻，学习更加简单。下面我们来搭建一个简单的集群。下载es 链接(http://d

spark-1.2.0 集群环境搭建(sprak集群依赖hadoop至上，用的是分布式APACHE系统HDFS)（此处搭建承接文档hadoop搭建，服务地址一样需要修改配置,下面附链接）一、安装jdk(1.7)------查看hadoop环境配置文件里面的jdk配置(一样)二、ssh免验证---------查看hadoop环境配置文件里面的ssh免验证(一样)

hadoop2.6环境搭建1,准备环境:虚拟机hadoop01，修改ip地址master (192.168.111.10)slaves1(192.168.111.11)  slave2192.168.111.12) 2,修改主机名字sudo gedit /etc/hostname(三个主机都要该)一、安装jdk(1.7)   注意:jdk版本必须要和系统

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。