- 博客(8)
- 收藏
- 关注
RSS订阅原创 记录hive3.1.3 用mysql8.0.26作为元数据管理的一个坑
然后继续后面的操作发现可以建表，那就是mysql版本问题了，但是我不想用mysql5,就继续研究，搞了将近一天还是不行，就在我快要放弃的时候看到b站上有人hive4.0用mysql8.3竟然成功了，我看了一下视频发现他用的驱动是。，跟我的8.0驱动名字差太多了，我抱着试试的心态下载了这个驱动包，放到lib目录下，重新初始化，神器的发现可以建表插入数据了，唉，整个过程真是心酸啊。我怀疑是mysql版本问题，然后换成mysql5.7,驱动换成。
2024-12-22 16:18:11
304
原创 TDH报错hive:exceed safety size
TDH报错hive:exceed safety sizeSET ngmr.safety.size.single.entry=-1;
2021-03-23 10:07:23
881
原创 如何卸载流氓软件—UniAccessAgent
下载一个git客户端，cdC:\Windows\LVUAAgentInstBaseRoot 到目录下，rm -f *.exe 重启完事儿
2021-03-09 16:47:36
3090
12
原创 Spark调优
Map端分区coalesce()方法的参数shuffle默认设置为false，repartition()方法就是coalesce()方法shuffle为true的情况。****假设RDD有N个分区，需要重新划分成M个分区：**1. N < M: 一般情况下N个分区有数据分布不均匀的状况，利用HashPartitioner函数将数据重新分区为M个，这时需要将shuffle设置为true。因为重分区前后相当于宽依赖，会发生shuffle过程，此时可以使用coalesce(shuffle=tr...
2020-12-07 17:19:48
170
转载 spark的读取方法textFile和wholeTextFiles
sc.textFiles(path)能将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式，文件的每一行 相当于 List中以 “,”号 隔开的一个元素，而使用 sc.wholeTextFiles()时:返回的是[(K1, V1), (K2, V2)...]的形式，其中K是文件路径，V是文件内容，这里我们要注意的重点是：官方一句话：''Each file is ...
2020-04-23 18:41:28
623
原创 HIVE Mapred tasks exceed 1000000000
Topo check failed. Mapred tasks exceed 1000000000Automerge可以直接在Inceptor命令行中开启：SET ngmr.partition.automerge = true;SET ngmr.partition.mergesize = n;SET ngmr.partition.mergesize.mb = m;"ngmr.part...
2020-04-01 16:12:44
5206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人