路越的专栏

背景在写一个ETL流程，先通过SQL读取Hive数据，然后RDD进行转换（map）,再转成DataFrame。提交任务后抛出以下异常。20/04/20 12:14:08 ERROR ApplicationMaster: User class threw exception: java.lang.ClassNotFoundException: scala.Anyjava.lang.ClassN...

推荐系统系列（一）：不到百行代码实现基于Spark的ItemCF计算引言数据准备相似度计算总结引言信息大爆炸的互联网时代，推荐系统是帮助人们更高效获取信息的手段之一。从淘宝天猫的商品推荐，到头条的信息流推荐，再到短视频推荐，推荐系统已经渗透到我们生活的方方面面。作为公众号的开篇系列，我们将分享关于推荐系统的各种技术，从传统的协同过滤，到深度学习在推荐领域的应用。总结多年工作实践所得，帮助读者更...

Spark阅读官方文档 Spark Quick Start Spark Programming Guide Spark SQL, DataFrames and Datasets Guide Cluster Mode Overview Spark Standalone Mode重要的概念：resilient distributed dataset (RDD), a collection

官方文档：Dependency Scope 许多程序对 Maven 其实并不熟悉，大多停留在会使用 mvn clean package打包的程度上。我个人很推荐大家有时间的时候看看 Maven 方面的书籍资料。作为一个专业的工具，Maven 是很值得大家去学习的。推荐《Maven 实战》这本书。 Scope 优化 Example: 编写 Spark 程序的时候，将 Spark 相关的包的 sc

java.lang.AssertionError: assertion failed: lapack.dppsv returned 9. at scala.Predef$.assert(Predef.scala:179) at org.apache.spark.mllib.linalg.CholeskyDecomposition$.solve(CholeskyDecompositio