- 博客(7)
- 收藏
- 关注
RSS订阅原创 mac下zsh安装使用
已经安装了iterm2，但是没有高亮和使用上功能不够强大，被同事安利zsh。一、安装配置1、安装curl -L https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh | sh2、创建配置文件cp ~/.oh-my-zsh/templates/zshrc.zsh-template ~/.zsh...
2019-10-20 13:09:13
726
原创 Mapreduce本地运行模式WordCount（Windows环境）
本地运行模式将给mapreduce程序编写与调试带来极大遍历，不然还要打包、上传、数据准备到hdfs等多步骤，很是耗时。这里的本地是程序在本地运行，同时输入数据和输入数据也是在本地。同时还可以进行断点debug。一、基础环境配置要在本地运行，需要配置windows所需的运行库，步骤如下：1、下载解压hadoop-common-2.6.0-bin-master我的路径是：D:\ins...
2019-06-10 20:12:47
1255
原创 Windows下安装单机zookeeper
1、下载https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/2、解压到特定路径我解压到：D:\installs\zookeeper-3.4.143、配置将conf路径下的zoo_sample.cfg文件拷贝一份重命名为zoo.cfg，修改配置如下：# The number of milliseconds of e...
2019-06-02 13:45:36
168
转载 Windows系统下安装mysql
在Windows中安装mysql不够幸运的话，会遇到相当多的坑，当然这也算是一种财富吧，让自己碰到问题去查找解决方案。有时候不是一时半会就可以解决的。有同学说过安装mysql安装两天还没有装上。不用担心，我安装mysql用了一天吧，下面记录下来安装过程及可能遇到的问题。1、工欲善其事，必先利其器！我们到官网上下载所需要的版本。官网：https://dev.mysql.com/downloads...
2019-06-02 11:09:37
124
原创 Spark Cluster Mode Overview
本文档描述spark如何在集群运行，便于理解过程中包含的组件。请阅读application submission guide来了解如何向集群提交程序。Componentsspark程序在集群中作为独立的线程集合运行，由主程序（driver程序）中的SparkContext对象来协调。特别地，SparkContext可以连接几种不同的集群管理者（如standalone集群管理、Mesos...
2019-04-04 18:29:43
309
原创 使用Idea和Maven执行Spark源码中Mllib的示例
Spark源码中提供了全面的Mllib使用案例，其实我们可以很简单的利用Idea和Maven修改打包这些示例，上传到Spark客户端执行。
2018-07-06 20:31:33
3845
原创 使用idea和maven开发和打包scala和spark程序
使用idea构建maven管理的scala和spark程序，默认已经装好了idea、scala并在idea中安装了scala插件。一、新建Maven项目二、Hello world三、导入spark依赖四、编写spark代码五、打包到服务器spark运行...
2018-07-06 12:44:13
6057
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人