spark存mysql多线程插入oom问题优化---采用HikariCP链接

最新推荐文章于 2023-10-15 10:49:49 发布

原创

最新推荐文章于 2023-10-15 10:49:49 发布 · 552 阅读

0 ·

CC 4.0 BY-SA版权

本文探讨了在使用Spark处理数据并尝试多线程插入到MySQL时遇到的内存溢出（OOM）问题。通过引入HikariCP连接池，优化数据库连接管理，有效解决了这个问题，提高了数据导入的效率和稳定性。

 all_data.repartition(10)
      .foreachPartition(tmp => {
   
   
        //获取数据库连接池
        val dsPool = DataSourceSingleton.getDataSourceInstance
        //获取数据库连接池
        val connection = dsPool.getConnection
        while (tmp.hasNext) {
   
   
          val row = tmp.next()
          val table_name = classForTable(row.getAs("user_id")).toString+"_user"
          val user_id = r