一个摄影师的编程路

Spark项目开发入门之WordCounter环境介绍IDEA MAVEN工程Spark2.2.0local模式pom.xml文件配置<?xml version="1.0" encoding="UTF-8"?><proj

Spark sql读写Oracle数据库–Java实现作者也是初入Spark开发没多长时间，在写代码的过程中也是踩了不少坑，毕竟一提到Spark的项目大部分都是Scala实现的，虽说Scala跟Java相似度极高，但是在接口的使用上还是有较大差异的。下面讲一个使用Spark sql读写Oracle的例子使用Spark sql读取Oracle数据：项目地址：https:/...

Hadoop下的connect refused问题问题产生原因：假设hadoop正常运行中出现这个问题，那有可能在重启hadoop的过程中，hadoop集群出现了异常。解决方法：这个时候jps会发现，有得机器上的服务启动不全， 正常情况下应该是下图中的服务：这是master节点的服务这两幅图是slaves节点的服务： 查看日志：cat had...

public class SparkHiveTest { public static void main(String[] args) { String warehouseLocation = "hdfs://10.1X4.XX2.XX2:9001/home/spark/ive/warehouse/"; SparkSession spark = S...

一 总览1.1 spark说明：官方原话：Lightning-fast cluster computing【快如闪电的批处理框架】快速、通用的大数据处理引擎。1.2 spark特点：1）提供 Cache 机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的 IO 开销；2）提供了一套支持 DAG 图的分布式并行计算的编程框架,减少多次计算之间中间结果写到 Hdfs ...