- 博客(103)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 Doris性能优化建议
1、jdbc连接中添加参数rewriteBatchedStatements=true,将 JDBC 单条插入优化为批量操作。2、将单条插入攒成批后再插入,可先使用redis的zset存储，，每3秒后取出写入表中，写入失败再写回redis的zset。合理设置 分桶数（Bucket），单个分桶大小建议 1-3GB，避免过多小文件导致 Compaction 压力。为减少磁盘IO，可将sys_log_level的值设置为WARN。-- 避免在 FE 中堆积过多的报告任务。-- 为减少磁盘IO。
2025-03-21 09:44:50
547
原创 Doris中新建用户并设置访问权限
- 每90天强制修改密码。-- 强制密码包含大小写字母、数字及特殊字符。-- 给指定用户设置对应数据库及表的的读取、DDL创建权限。-- 给指定用户设置对应数据库的读取权限。-- 给指定用户设置对应数据库的读取权限。-- 启用密码复杂度检查。-- 创建用户及密码。
2025-03-21 09:27:44
289
原创 Flink在指定时间窗口内统计均值，超过阈值后报警
统计物联网设备收集上来的温湿度数据，如果5分钟内的均值超过阈值(30摄氏度)则发出告警消息，要求时间窗口和阈值可在管理后台随时修改，实时生效(完成当前窗口后下一个窗口使用最新配置)。物联网设备的数据从kafka中读取，配置数据从mysql中读取，有个管理后台可以调整窗口和阈值大小。使用flink的双流join，配置数据使用广播流，设备数据使用普通流。
2025-02-13 17:26:46
363
原创 SpringBoot中websocket拦截器获取cookie中的token信息
【代码】SpringBoot中websocket拦截器获取cookie中的token信息。
2025-02-13 12:53:30
156
原创 SpringBoot发邮件(带附件)
每个月月初需要对各部门的项目预算、进度、金额使用情况进行统计，统计完成后将报表通过邮件发送到指定的领导邮箱，项目基于SpringBoot实现，那就找SpringBoot发邮件的组件吧。生成excel部分可以按照自己的想法实现，上面缺少部分自定义注解实现部分，照着poi或者easyexcel的示例都可以将表中读取的内容写入excel。通过生产临时文件的方式发送，需要注意发送完成后删除临时文件，否则会产生很多垃圾文件。通过字节数组流的方式发送，好处时不会产生临时文件，没有产生垃圾文件的烦恼。
2024-12-30 16:21:53
429
原创 按照人们阅读Excel习惯来格式化BigDecimal
就是对一些数字的格式化提出了改进建议，比如不要让大数字自动转为科学计数法、浮点数小数点后都是0就不要带出来，根据某列的数值(0-100之间)设置单元格的底色,小于60的标深红色、大于等于60小于70标浅红色,大于等于70小于等于80标浅绿色,大于等于80小于90标中绿色,大于等于90的标深绿色。经常，发现数字的长度超过8位Excel才会将次单元格中的值进行科学计算法转换，解决办法就是判断数字的长度，然后设置单元格存储的值类型。至此，问题得到解决，此处记录一下。
2024-12-30 15:52:02
686
原创 还在找滚动效果吗？你要的滚动效果在这里
使用了上面效果中的中奖名单滚动-停顿滚动，我将相关代码单独提取出来，然后将获取数据的逻辑改为通过ajax异步获取，最终实现了效果。上面页面代码如下，可将代码复制到本地(新建一个文本文件,后缀改为html),粘贴后直接双击打开就可以看到效果，也可以直接下载网盘中的文件，请君按照自己方式便取~jq滚动的公告.html链接: https://pan.baidu.com/s/1ms_Ebwgv59_oQ4Ql8RqMZw?pwd=x3i3 提取码: x3i3
2024-11-29 08:08:20
272
原创 Doris Fe集群出现元数据不断变大的原因
通过将另外两个从节点的角色设置为OBSERVER，集群ID设置为一样的，然后再设置--helper加入到FE 主节点，让主从之间能正常通信，元数据逐渐同步到OBSERVER后会将确认同步好的记录删除。这样doris-meta的磁盘占用也会降下来。
2024-11-12 13:29:40
597
原创 Doris删除超时报错的解决
因为ODS层的数据都在，执行DELETE的这张表清空(TRUNCATE TABLE)，然后让任务重新跑一遍，将历史数据全部跑一遍补上来了。后来想想，此表的查询依然是OK，是否可以建一张与此表结构完全一样的临时表，然后将此表的数据全部导入到临时表，然后删除此表，再将临时表的表名改为此表名。不知大家有没有遇到过，是否更好的解决办法？
2024-10-23 10:52:36
1240
原创 MacPro M3无法运行minikube 和 docker
本想在mac上安装minikube学习一下的，通过brew安装后发现报下面的问题。
2024-10-22 21:37:26
1237
原创 使用docker build自制flink镜像供k8s使用
上文中用到的docker-entrypoint.sh、gettext-base_0.21-4_amd64.deb、gosu-amd64、gosu-amd64.asc和libjemalloc-dev_5.2.1-3_amd64.deb文件先下载到本地。链接：https://pan.baidu.com/s/1ItGu2Sh3nigtwvRAeGGUHQ?链接：https://pan.baidu.com/s/1aKtBuV8NtoHKFCaPn1Zi5w?
2024-10-22 10:08:22
802
原创 Doris FE内存占用持续上升直至无法使用
然后找Doris官方文档，发现频繁refresh catalog xxx 会强制使对象相关的Cache失效，默认开启的采样也比较耗费资源，然后就将代码中refresh catalog全部注释掉，在fe.conf中添加重启FE后观察了一下午，内存持续增长的问题没有再出现了。此解决方案应该不能通用的解决所有FE使用内存持续上升的问题，仅将我自己遇到解决的方式记录下来，不保证能解决你的问题，如果刚好也能解决那时最好。
2024-10-12 15:28:13
1157
原创 MySQL和Doris开窗函数LAG执行时的区别
上面这种方式在Doris下会报错，SQL 错误 [1105] [HY000]: errCode = 2, detailMessage = The default parameter (parameter 2 or parameter 3) of LEAD/LAG must be a constant: lag(`origin_time`, 1, `origin_time`)
2024-09-26 17:29:07
794
原创 k8s使用本地docker私服启动自制的flink集群
目标：使用本地flink环境自制flink镜像包上传到本地的私服，然后k8s使用本地的私服拉取镜像启动Flink集群。
2024-09-16 19:40:42
1529
1
原创 Java开发面试题
昨天面试了一家创业型公司，感觉还是有些挑战的，以下答案是我根据自己的理解写的，有些当时也没答出来，后面查资料了，发出来大家看看，如有问题，欢迎指正。
2024-08-23 11:02:27
679
原创 FCA-FineReport认证试题及答案
在数据集SQL语句中，使用para做为一个参数宏，其中变量para为参数名，若字段值为整型则加上引号如{para}做为一个参数宏，其中变量para为参数名，若字段值为整型则加上引号如para做为一个参数宏，其中变量para为参数名，若字段值为整型则加上引号如{para}(得分：2分 满分：2分)参数的数据字典和报表主体，可以来自不同的数据集，只要参数名一致，即可实现过滤查询(得分：2分 满分：2分)当将一个不需要的列隐藏时，可以通过条件属性设置列宽为0 ，并添加对应的条件(得分：2分 满分：2分)
2024-07-09 15:12:17
1242
原创 谈一谈AI是在帮助开发者还是取代他们
与 Copilot 类似，TabNine 也能够自动补全复杂的代码结构，如循环、条件语句等，但它的一个显著特点是其广泛的兼容性，可以作为插件安装在各种流行的代码编辑器中，如 Visual Studio Code、Atom、Sublime Text、Emacs、Vim 等。2、使用上面的AI工具辅助开发时，其实也有两面性，一面是可以通过AI工具的建议解决问题，但另一面是AI工具给出的答案有问题时(比如给出的答案适用的环境比较老、依赖版本不一致等)也考验使用者的知识和经验去发现，否则可能反被工具所累。
2024-07-07 19:36:30
1441
原创 Mac Pro安装dolphinscheduler报./script/scp-hosts.sh: line 31: declare: -A: invalid option
Mac Pro安装dolphinscheduler报错修复
2024-07-07 18:16:28
190
原创 大数据面试题之Presto[Trino](2)
Presto定义了一套清晰的插件API（Application Programming Interface），这些接口包括用于数据读取、写入、元数据获取等功能的类和方法。所有Connector作为插件必须实现这些接口，以确保与Presto核心引擎的兼容性。
2024-07-05 12:49:48
1215
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人