- 博客(4)
- 收藏
- 关注
RSS订阅原创 SparkContext创建过程
SparkContext两种创建过程一、无Session的SparkContext的创建过程 val conf = new SparkConf() val sc = new SparkContext("local","JSONRead",conf)new SparkContext()此处调用的是包含三个参数的构造方法,该构造方法通过将所有参数传入SparkConf,最终调用只包含conf的构造器.def this(master: String, appName: String, con
2022-02-18 18:28:43
1695
原创 Mysql执行sql导入时 Got a packet bigger than‘max_allowed_packet’bytes错误
Mysql执行sql导入时错误问题:在执行sql导入到目标数据库的时候报了Got a packet bigger than‘max_allowed_packet’bytes的错误，问题分析: mysql中有一个global变量 max_allowed_packet,当传输的一个packet超过该值则会报错.问题原因:也许是一条记录中的某个字段值过大,也有可能是整个记录的值过大.方案一: 按照skip-extended-insert方法换成多条insert语句方式:在源库表sql文件备份时加入参数:
2022-01-10 17:06:18
773
原创 LeetCode.220 存在重复元素III（TreeSet妙用以及桶排序）
220. 存在重复元素 III去力扣刷题吧!在整数数组 nums 中，是否存在两个下标 i 和 j–> ① nums[i] 和 nums[j] 的差的绝对值小于等于 t–> ② 且 i 和 j 的差的绝对值也小于等于 k 。问题分析方法一. 滑动窗口 + TreeSet由于在数组中需要满足两个下标的距离在k范围呢，因此可以结合滑动窗口的思想，只是这边的滑动窗口固定了窗口大小为k + 1，我们用一个TreeSet维护该窗口，当新加入元素num时，判断窗口中是否有元素在 [num -
2020-07-15 15:20:07
502
原创 LeetCode经典两数之和
LeetCode经典两数之和分析标题力扣1.两数之和给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。数组中同一个元素不能使用两遍。示例：给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]分析题目要求只需要找到一个答案即可：因此可以先记录一下数组前面出现过的数，在当前数下若能找到和为target的值则返回；同
2020-07-03 01:10:18
2436
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人