crj_9527的博客

1.首先要有可用的jdbc[hadoop@db1 bin]$ locate jdbc|grep postgres/mnt/hd01/www/html/deltasql/clients/java/dbredactor/lib/postgresql-8.2-507.jdbc4.jar/usr/lib/ruby/gems/1.8/gems/railties-3.2.13/lib/rails/ge

1.编写测试代码，制作成jar包（spark提供的测试代码如下，已经编译好了，自己写代码，要用maven或者sbt制做jar包：）package org.apache.spark.examples.streamingimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport

spark streaming是建立在spark上的大规模实时流计算框架。通过阅读官方文档，做了一个本地的测试。1.需要的工具netcat:通过TCP和UDP在网络中读写数据的工具下载地址：http://sourceforge.net/projects/netcat/files/netcat/0.7.1/netcat-0.7.1.tar.gzspark：编译安装并起动的spa