古笑来的博客

spark-submit --master yarn --deploy-mode cluster --class didlib.operator.io.HbaseReader --jars scopt.jar,didlib-core.jar,guava-12.0.1.jar,protobuf-java-2.5.0.jar,hbase-server-1.2.1.jar,hbase-client-1.2.1.jar,hbase-common-1.2.1.jar,htrace-core-3.1.0-incubat

服务器上jar包位置:/opt/did_1.0/hdfs/did/operator/libspark-submit --master yarn-cluster --class com.lg.JavaCallClib --jars didlib-core.jar,scopt.jar,jna-4.5.1.jar,libanti-collision.so show.jar --input_pt1 /...

抄自:https://www.cnblogs.com/codingexperience/p/5372617.htmlsbt是类似ANT、MAVEN的构建工具，全称为Simple build tool，是Scala事实上的标准构建工具。主要特性：原生支持编译Scala代码和与诸多Scala测试框架进行交互；使用Scala编写的DSL（领域特定语言）构建描述使用Ivy作为库管理工具持续编...

抄自:https://www.cnblogs.com/wangbin2188/p/6530563.htmlplay框架之简介Play Framework是一个开源的Web框架，背后商业公司是Typesafe。要介绍Play之前，首先理清Play的两个不同的分支。 Play 1.x 使用Java开发，最新版本是1.3.1，只支持Java项目。从11年开始就进入了维护阶段，新项目一般不考虑使用Pl...

再跑一个刚import的java项目,编译中一直报jdk的问题:查了一下,也问了同事,jdk的版本没有问题解决:不断的查询中居然是自己的编译版本不对…自己好菜...

scala程序运行中运行是出现问题:编译通过了,方法明明存在,却抛异常解决:将环境中scala版本成一个2.11.10 的就好了兄弟给我看了看版本,恍然大悟,以后需要先去官网看看版本...

Scala:java.lang.NoSuchMethodError 编译通过了,方法明明存在,却抛异常将环境中scala版本成一个2.11.10 的就好了兄弟给我看了看版本,恍然大悟,以后需要先去官网看看版本jdk 异常，查了一下,也问了同事,jdk的版本没有问题编译版本不对，不是运行版本...

抄自:https://www.cnblogs.com/weiweifeng/p/8073553.htmlspark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。例子一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。./bin/spark-submit –master spark://local...

https://blog.youkuaiyun.com/carl810224/article/details/51970039https://www.jianshu.com/p/20aff7d85e95https://blog.youkuaiyun.com/woshiwanxin102213/article/details/17584043

https://blog.youkuaiyun.com/zyz_home/article/details/79879617https://blog.youkuaiyun.com/py_123456/article/details/80292267

Spark-Submit分析https://www.cnblogs.com/liangjf/p/8134645.html抛开spark-submit脚本提交spark程序https://blog.youkuaiyun.com/yhb315279058/article/details/51713309使用JAVA代码实现编程式提交Spark任务https://blog.youkuaiyun.com/gx30441...

https://blog.youkuaiyun.com/weixin_38750084/article/details/82919365https://blog.youkuaiyun.com/github_36444580/article/details/75208992

参考https://www.cnblogs.com/1130136248wlxk/articles/6289717.htmlyarn-client与yarn-cluster的区别详细图https://blog.youkuaiyun.com/dufufd/article/details/53200516

参考：http://4d3810a1.wiz03.com/share/s/1de12x0ssAHg2vQr4b1tgYE_1aNUiT0jIkZS2vOo7b2A4zj0https://tech.meituan.com/spark_tuning_basic.html资源调优调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-su...