manbufenglin的专栏

需求： 项目采用springboot开发，用于实现历史数据的统计分析及算法计算，通过spark-yarn运行跑出结果。 环境： JDK：1.8 操作系统：centos 7.6 大数据架构：Hadoop -Yarn-HA；spark 、hive 集群模型 项目预期效果： ./spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_..

SpringCloud 注册与发现 之 注册中心高可用集群 Eureka    1、注册中心的存在 服务提供者启动会注册到注册中心，并会定期发起心跳通知，告知注册中心“我还活着，别把我干掉”。 服务消费者到注册中心订阅服务，并拉取调用的服务列表到本地缓存，这是服务消费者发现服务提供者的过程。 服务消费者从服务列表中调用服务进行消费。 注册中心 是微服务治理的一部分。 2、注册中心集...

本文介绍springboot下 spark2 操作es6. 1、环境 springboot 2.1.3.RELEASE es: elasticsearch 6.4.3 spark : 2.4.3 scala: 2.11.12 本人MAC本相关环境变量配置如下： JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_152.jdk...