myz95-优快云博客

原创自动化配置hadoop+spark+jupyter（一）：shell脚本添加新用户

我们已经搭建好了一套完整的Hadoop+spark+jupyter环境，可是总是需要手动配置整个过程，实在是麻烦。更何况在实际的集群当中，也不可能一台机器一台机器的去配置，所以需要使用脚本自动化配置。这个系列就记录一下自己写脚本的历程吧，多有缺点和纰漏之处还望批评指正。（系统：Ubuntu14）。首先我们希望把一个专门的用户作为我们整套环境的启动用户（当然你也完全可以使用root环...

2018-06-08 17:11:44 624

原创 Yarn工作原理浅析

Yarn作为Hadoop的资源调度框架，承担着扩展Hadoop的重要责任，我们配置Spark时就使用了Spark on Yarn的配置方法，这里简单介绍一些YARN的工作原理，有助于理解整个系统处理作业的过程。在配置好的Hadoop环境中，我们输入jps查看进程，可以看到，master节点上的ResourceManager和slave节点上的NodeManager就是属于Yarn的...

2018-05-23 17:43:33 4861

原创 Hadoop+spark+jupyter环境搭建（三）：Pyspark+jupyter部署在Linux

我们已经实现了Spark on Yarn的搭建，但我们还希望有一个友好的开发界面，也便于展示成果，因此我们选择了jupyter。他的本质就是一个 web app，也支持多种语言，完全满足我们的要求。1.安装python3下载包wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0a1.tar.xz(自己根据需要选择python版...

2018-05-22 10:09:22 4028

原创 Hadoop+spark+jupyter环境搭建（一）：Hadoop平台的搭建

一、集群配置信息集群为1+1，1台master，1台slave的结构配置（两台一致）：系统：Ubuntu 14内核：4核内存：8G 两台主机的信息：主机名IPmyz-master192.168.0.212浮动IP:210.14.69.105myz-slave192.168.0.213 二、集群搭建过程1. 新建hadoop用户，用户密码设置，sudo操作不需要密码等，每台主机一样登录root...

2018-05-22 09:45:11 1791

原创 SparkSQL启动报错：A read-only user or a user in a read-only database is not permitted to disable ...

2018-05-18 14:58:07 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2018-05-18 14:58:07 INFO HiveMetaStore:589 - 0: O...

2018-05-18 15:15:59 3252

原创 Hadoop+spark+jupyter环境搭建（二）：基于Hadoop组件Yarn搭建Spark

基于Hadoop组件Yarn搭建Spark一、集群配置信息集群为1+1，1台master，1台slave的结构配置（两台一致）：系统：Ubuntu 14内核：4核内存：8G 两台主机的信息：主机名IPmyz-master192.168.0.212浮动IP:210.14.69.105myz-slave192.168.0.213 二、集群搭建过程Hadoop安装与配置请参考《Hadoop平台的搭建》，...

2018-05-18 09:23:14 1635

原创 Hadoop+spark+jupyter环境搭建（四）：Hadoop 安装配置错误总结

近期开始配置Hadoop了，遇到不少问题，特此记录一下，作为我的第一篇博客吧。我们通过shell脚本启动Hadoop时，一般不会报错，需查看Hadoop下的logs文件夹里的日志信息，才能看到报错信息。1. 缺少namenode进程日志报错信息：...2018-05-11 14:49:34,166 INFO org.apache.hadoop.hdfs.server.common.Storage...

2018-05-14 09:26:18 1741

myz的博客