
spark
A™A_Forever
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
数据库连接池 实现 spark 写入数据库中
spark写入数据库中书多线程的,创建数据库连接池来优化 数据库Connection的来接 配置文件db.properties 还有参数MAX-IDLE MIN-IDLE等待略 jdbc.driver=com.mysql.jdbc.Driver jdbc.url=jdbc:mysql://localhost:3306/test jdbc.user=spark jdbc.password=s...原创 2019-06-21 20:14:35 · 2579 阅读 · 7 评论 -
spark中的 foreach和foreachPartition的对比分析
RDD.foreachPartition/foreach的操作 **转载地址:**https://www.cnblogs.com/mfmdaoyou/p/7073861.htm 在这个action的操作中: 这两个action主要用于对每一个partition中的iterator时行迭代的处理.通过用户传入的function对iterator进行内容的处理. 首先我们先看看foreach的操作: ...转载 2019-06-22 14:08:59 · 1020 阅读 · 0 评论