mac配置spark并编写程序读取HBase数据

配置spark

1. 将hbase的lib目录下的一些jar包拷贝到spark的jar目录

cd /usr/local/spark/jars
mkdir hbase
cd hbase
cp /usr/local/hbase/lib/hbase*.jar ./
cp /usr local/hbase/lib/guava-12.0.1.jar ./
cp /usr/local/hbase/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar ./
cp /usr/local/hbase/lib/protobuf-java-2.5.0.jar ./ 

在运行spark-submit **.py文件之前需要启动habse和hadoop.不然会报错.
启动命令:

cd /usr/local/hadoop-3.2.1
./sbin/start-all.sh

cd /usr/local/hbase
./bin/start-hbase.sh

最后可以运行spark-submit .py