
--13.2.4.Spark
leoIsCoding
Github : [ https://github.com/leoChaoGlut ]
Email : [ leoIsCoding@163.com ]
展开
-
Spark 踩坑记录
Encoders.bean(Person.class) 调用报异常 异常信息Exception in thread "main" java.lang.UnsupportedOperationException: Cannot infer type for class personal.leo.spark.Person because it is not bean-compliant 原因: Bean原创 2017-07-19 17:01:27 · 1668 阅读 · 1 评论 -
Spark 增量操作 insertInto() 与 mode(SaveMode.Append).saveAsTable() 的区别
前言 使用spark做增量操作的时候,会看到有2个方法都可以做: insertInto 和 mode(SaveMode.Append).saveAsTable() 区别: insertInto() 无关schema,只按数据的顺序插入,类似hive导入csv. mode(SaveMode.Append).saveAsTable() 如果表已存在,会使用已存在的表的format和option来执原创 2017-10-12 10:21:12 · 18780 阅读 · 0 评论 -
Spark技术在京东智能供应链预测的应用
大家晚上好,做一个简单的介绍:我叫郭景瞻,来自京东,著有《图解Spark:核心技术与案例实战》一书,还有我的同事杨冬越,他在京东Y事业部,主要从事供应链销量预测、单量预测等系统的设计与实现工作。 今天非常感谢InfoQ提供这样的机会给大家做一次分享,我们分享的主题是《Spark技术在智能供应链的应用》。在该分享中,首先介绍京东智能供应链并介绍预测在供应链中的作用,接着介绍预测系统的业务和技术转载 2017-11-10 18:25:09 · 935 阅读 · 0 评论