cj2580的博客

环境说明 spark版本：1.6.1(已经安装完毕) os: centos6.5 java: 1.8 hadoop:2.3网上许多spark教程都是基于scala或者python的，通过这篇文章我们来使用spark的JavaAPI， 来写一个wordCount程序， 首先我们写个Java程序： pom.xml如下：<?xml version="1.0" encoding="UTF-8"?

环境：spark.1.6.2 系统：centos7 jdk: 1.8 hadoop: 2.6鉴于Java相关的 spark streaming 程序比较少，因此本人记录一下Java中怎么使用spark streaming 整合redis 。首先要注意的问题是，spark是分布式的 因此操作redis 的类 需要序列化到工作节点，可能和driver不是一台机器. 因此我们可以采用广播变量的