crj_9527的博客

1.首先要有可用的jdbc [hadoop@db1 bin]$ locate jdbc|grep postgres /mnt/hd01/www/html/deltasql/clients/java/dbredactor/lib/postgresql-8.2-507.jdbc4.jar /usr/lib/ruby/gems/1.8/gems/railties-3.2.13/lib/rails/ge

1.编写测试代码，制作成jar包（spark提供的测试代码如下，已经编译好了，自己写代码，要用maven或者sbt制做jar包：） package org.apache.spark.examples.streaming import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import

spark streaming是建立在spark上的大规模实时流计算框架。通过阅读官方文档，做了一个本地的测试。 1.需要的工具 netcat:通过TCP和UDP在网络中读写数据的工具 下载地址：http://sourceforge.net/projects/netcat/files/netcat/0.7.1/netcat-0.7.1.tar.gz spark：编译安装并起动的spa