一个摄影师的编程路

public class SparkHiveTest { public static void main(String[] args) { String warehouseLocation = "hdfs://10.1X4.XX2.XX2:9001/home/spark/ive/warehouse/"; SparkSession spark = S...

Hadoop下的connect refused问题 问题产生原因： 假设hadoop正常运行中出现这个问题，那有可能在重启hadoop的过程中，hadoop集群出现了异常。 解决方法： 这个时候jps会发现，有得机器上的服务启动不全，   正常情况下应该是下图中的服务： 这是master节点的服务 这两幅图是slaves节点的服务：   查看日志： cat had...

Spark sql读写Oracle数据库–Java实现 作者也是初入Spark开发没多长时间，在写代码的过程中也是踩了不少坑，毕竟一提到Spark的项目大部分都是Scala实现的，虽说Scala跟Java相似度极高，但是在接口的使用上还是有较大差异的。 下面讲一个使用Spark sql读写Oracle的例子 使用Spark sql读取Oracle数据： 项目地址：https:/...

Spark项目开发入门之WordCounter 环境介绍 IDEA MAVEN工程 Spark2.2.0 local模式 pom.xml文件配置 <?xml version="1.0" encoding="UTF-8"?> <proj

一 总览 1.1 spark说明： 官方原话：Lightning-fast cluster computing【快如闪电的批处理框架】 快速、通用的大数据处理引擎。 1.2 spark特点： 1）提供 Cache 机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的 IO 开销； 2）提供了一套支持 DAG 图的分布式并行计算的编程框架,减少多次计算之间中间结果写到 Hdfs ...