longyangaaoo的博客

项目需要从事scala开发，之前都是用IntelliJ IDEA和scala eclipse，但是我这里目前的环境是myeclipse，刚做的一个项目也在里面，所以就干脆直接用了，下面开始介绍如何使用myeclipse集成scala和maven的相关插件。首先安装scala插件 地址：http://download.scala-ide.org/sdk/lithium/e44/scala211/

建立maven-scala项目后，会生成相应的pom文件。把maven-surefire-plugin的插件注释掉或者直接删掉。然后加入maven-shade-plugin的插件配置。 接下来正常边写程序运行项目时，由于java和scala代码相互调用，所以maven install的时候报错了。 scala:216: error: not found: value java class 然后

前言之前写了一个hive业务数据ETL后导出的程序，通过通过SparkSQL实现的，当时的需求是每天导出前一天的数据。数据在hive中是有年月日分区的，为了提高效率，所以我在where条件里面每天动态生成了需要的分区条件。一直运行都没什么问题。最近需要一次导出一年的数据，我就在担心这下动态生成的分区条件肯定特别长。哈哈，果然，程序一跑在spark解析SQL的时候就报错了，错误如下：Exce...