- 博客(31)
- 收藏
- 关注
RSS订阅原创 Flink读取Kafka数据写入IceBerg（HiveCatalog）
java8 + hive3 + iceberg0.13.2 + Kafka3 写入老版本的iceberg和新版本的实现方式不太一样，ai生成的正确率堪忧
2025-03-18 19:34:41
382
原创 Flink Table API 与 Flink SQL 实现Kafka To Kafka 版本1.12
Flink Table API实现Kafka2Kafka按需可以成为实时数仓的组成部分
2021-11-18 10:57:37
2900
3
原创 IDEA控制台输出中文乱码解决 版本:2021.1
在网上踩了不少的坑,重启了IDEA三四次,现在写个完整版1.依次点击2.依次点击,把图中③④⑤处全部修改为UTF-83.依次点击①②,在里面都加上一行-Dfile.encoding=UTF-84.
2021-11-12 18:35:32
14952
8
原创 MapReduce全过程参数优化
最近花了点时间整理了一下,涵盖了全流程常见实用的调优参数.希望能有帮助1)Map阶段(1) 增大环形缓冲区大小(默认100M,可以提高到200M)mapreduce.take.io.sort.mb(2)增大环形缓冲区溢写的比例(默认80%,可以提高到90%)mapreduce.map.sort.spill.percent(3)减少对溢写文件的merge次数(默认10个文件,可以增大到20)mapreduce.task.io.sort.factor(4)不影响实际业务
2021-11-04 19:45:39
554
原创 Hbase工具类 V2.0.5
提供了1.创建链接2.创建命名空间3.判断表存在与否4.创建表5.修改表6.删除表7.插入数据8.查询数据9.扫描数据10.删除数据Maven添加如下依赖<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>h...
2021-10-29 20:16:40
1232
1
原创 python中使用正则表达式去除制表符\t,换行符\n
在网上踩了很多的雷,发现并没有能解决问题的办法首先 'r’一定不能忘,很多情况下都是没加r导致没有效果re.split()在PyCharm中这里就用字符串a为例:a='\\t\\n\\t\\t\\n\\n\\t'print(a)# output: \t\n\t\t\n\n\t如果需要清除多个字符,在参数内用’|'分割最后使用join进行连接,可以完美的清除制表符和换行符a='\\t\\n清除成功\\t\\t\\n\\n\\t'import rea1=re.split(r'\\t|\
2021-05-18 11:35:07
10962
1
原创 PYTHON实战:从百度资讯爬取信息作为正文,巨潮资讯网爬取有关PDF作为附件,自动发送邮件(Mysql做存储)
小小的前言:鄙人在学习过程中写的小实践.效率不高.大佬勿喷.其中的强制等待严重影响运行速度.建议使用隐式或者显示等待用Pyqt5画了个简单的GUI(xwin.ui)然后通过pyuic -o xwin.py xwin.ui 就可以转为py文件了然后通过按钮触发druging函数.因为我不会使用按钮传参数.所以def了一个中介函数哈哈哈哈哈哈.勿喷.看到代码就懂了其中try except异常处理是我对很多情况进行尝试后得出的设计.因为百度和巨潮对我这个实战不是特别友好.哈哈哈哈哈哈哈.下次设
2021-04-19 14:56:40
1673
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人