weixin_37417954的博客

导入依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> &l...

错误java.lang.ClassNotFoundException: sparkSql.demo2 at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at java.lang.ClassLoa...

person.json{"name":"路飞","age":17,"deptno":1,"money":15}{"name":"索隆","age":18,"deptno":1,"money":9}{"name":"乔巴","age":5,"deptno":1,"money":5}{"name":"艾斯","age":18,"deptno":2,"money":18}{"name...

DataSet 简介DataSet是分布式的数据集合，Dataset提供了强类型支持，也是在RDD的每行数据加了类型约束。DataSet是在Spark1.6中添加的新的接口。它集中了RDD的优点（强类型和可以用强大lambda函数）以及使用了Spark SQL优化的执行引擎。DataSet可以通过JVM的对象进行构建，可以用函数式的转换（map/flatmap/filter）进行多种操作...

Parquet介绍Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源，2015年5月从Apache的孵化器里...

Scala 来源于 "scalable language"，即可伸缩的语言。运行在 JVM 之上，可以与 Java 类库无缝协作。Scala 是一门综合了面向对象和函数式编程概念的静态类型的编程语言。下面我们先宏观的数一数 Scala 的那些特性1）首先Scala 一个集美貌与才华与一身的美男子，它既是 是面向对象的又是函数式的：①Scala是面向对象的：不是类似 Java 的半...