qq_41587243的博客

springboot整理spark，基于yarn提交job任务

springboot 整合spark ，运行在yarn，各种问题…最近需求需要这样做一个分析平台，之前做过整合，是在standalone模式了，想了解的，可以关注一下，往下滑动！先看下这个问题，之前没遇到过啊，为啥这次整合问题这么多，idea本地测试少量数据sparkSql，几百兆吧。sql代码 ：val livingSql = """ | select | count(imsi) livingCounts | from

需求描述：前后端分离系统，用SpringBoot整合Spark API,调用大量数据（几百GB，上TB）进行处理计算，单机环境难以达到性能要求，此，需整合直接调用spark跑程序，且在集群跑…在此，一台测试服务器模拟，搭建伪分布spark集群，用standalone模式运行。文章目录一、集群环境二、项目配置环境一、集群环境包版本： 1.java1.8 2.spark 2.3.1 3.scala 2.11 4.CentOS Linux release 7.3.1611 (Core)

SpringBoot注解大全一、注解(annotations)列表@SpringBootApplication：包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@ComponentScan让spring Boot扫描到Configuration类并把它加入到程序上下文。@Configuration 等同于spring的XML配置文件；使用Java代码可以检查类型安全。@EnableAutoConfiguration 自动配置

前两天的项目，没上传到git上，今天又继续码代码，出现了奇怪的问题。两天代码没动怎么会出现这样的问题，很是郁闷。。。。。。。。。。。。。。。。。。问题：启动项目的时候org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.sprin...