Spark
关注
分享
扫一扫
逐梦青春
人生没有后悔药，唯有奋斗才是真理！
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark读hbase表中的数据
spark操作hbase中的数据1、在hbase中创建表，并添加相应的数据hbase(main):002:0> create 'tb','info'0 row(s) in 23.4720 seconds=> Hbase::Table - tbhbase(main):003:0> put 'tb','1001','info:name','Tom'0 row(s) in...原创 2020-04-23 20:47:54 · 486 阅读 · 0 评论 -
Spark SQL中的结构化数据
Spark Sql操作需要将以下两个配置文件复制到spark安装目录下的conf目录下core-site.xmlhive-site.xml启动spark-shell操作命令行模式scala> scres4: org.apache.spark.SparkContext = org.apache.spark.SparkContext@27ea552dscala> impo...原创 2020-04-16 11:31:57 · 238 阅读 · 0 评论 -
spark集群搭建
集群修改修改配置文件1、修改配置文件conf/spark-env.sh在spark-env.sh中添加如下代码：exportJAVA_HOME=/opt/module/jdk#exportSPARK_MASTER_HOST=hadoop131#exportSPARK_MASTER_PORT=7077exportSPARK_DAEMON_JAVA_OPTS="-Dspark.d...原创 2020-03-10 17:01:55 · 236 阅读 · 0 评论 -
Spark之WordCount案例
在idea中完成wordcount程序编写、在windows本机和集群环境下分别运行Windows本机运行scala程序如下：object SparkWorldCount {def main(args: Array[String]): Unit = {//1、做出scval conf = new SparkConf()conf.setMaster("local")conf.s...原创 2020-03-12 16:21:57 · 390 阅读 · 0 评论