梦，不可及，所以可期待...

之前部门有小伙伴使用pandas做数据分析，使用的是jupyter做验证开发，后来要使用spark，所以尝试在jupyter写spark代码，这样做的案例貌似不多，可能是比较偏门的。1. 前提1.1、spark2已经安装好，在shell可以正常使用pyspark21.2、jupyter已经安装好，可以正常启动使用python32. 集成2.1、在cm页面添加spark和jupyter的关...

在cdh5.14上装好spark5.14后，如果使用pyspark的话，默认是使用系统的python，一般是python2.7配置使用python31、在各个节点上安装好python3，路径要一致2、在cdh的配置页面2.1、选择spark22.2、选择配置页签2.3、搜索env2.4、在spark2-conf/spark-env.sh 的 Spark 2 服务高级配置代码段（安全...

一、系统环境：物理机：一台8G 的mac虚拟机：安装linux系统：CentOS release 6.5 (对于集群安装，这个才是最终的环境系统） cpu：2core内存：6g(对，就是这么多，因为cdh真的很吃内存,这也是装单节点的原因，如果是源生的hadoop，3个节点没压力)二、安装前提此文只讨论离线方式安装cm5和cdh5，有以下假定前提：1、jdk环境配置...

如果只是单机单间的cm，可以关闭cm的监控来节省内存。 1、登录cm管理界面 http://centos1:7180/cmf/home 2、在Cloudera Management Service现在选择停止cm即可， 点击上图的邮编的三角符号，选择【停止】 3、关闭后，界面是的监控都会显示查询错误，但不会影响集群的正常运行 ...

cdh5.14 默认自带的spark版本是1.6的，如果需要使用spark2，那么需要另外安装。官网上给出了CDH版本和spark2版本对应的说明以及离线安装包的地址，在安装时需要安装自己集群版本下载相应的spark2：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html1.下...