qq_38363255的博客

前言为了解决线上问题定位慢，相应不及时等问题。所以我们决定开发一套智能问题定位系统。对于我们的一些核心系统，每个订单会对应推送多个司机（线上最多达到上千个司机，平均也有几百个司机）。如果要每个司机都记录一条埋点信息那么数据量将会非常庞大，目前埋点数据日均60+亿，一个月接近2000亿数据。这种以司机维度存储数据会存在大量的数据冗余，耗费大量存储等机器资源。并且传统的关系型数据库在动则几十亿到上千亿级别的表上查询，几乎做不到秒级响应。前期我们调研的时候考虑过使用hbase 、druid...

https://blog.youkuaiyun.com/vkingnew/article/details/106988056

由于flink 1.9 版本的jdbc 有不少ck 类型并不支持，例如Map 类型。故重写了一个clickhouse sink。基本依赖： <!-- https://mvnrepository.com/artifact/ru.yandex.clickhouse/clickhouse-jdbc --> <dependency> <groupId>ru.yandex.clickhouse</groupId>

<dependencies> <!-- Apache Flink dependencies --> <!-- These dependencies are provided, because they should not be packaged into the JAR file. --> <dependency> <groupId>org.apache.flink&...

brew install --cask docker// 修改镜像{ "builder": { "gc": { "enabled": true, "defaultKeepStorage": "20GB" } }, "features": { "buildkit": true }, "experimental": false, "debug": true, "registry-mirrors": [ "https://...

https://developer.aliyun.com/article/780954

1. 背景对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2].基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写...

通过SPI 找不到想要的接口，可以超尝试以下骚操作：先resources目录下面创建META-INF目录，接着在其下面继续创建services目录， 因为找不到的TableFactory的子类都在org.apache.flink.table.factories.TableFactory里配置，所以我们创建这个文件，然后把未能加载的类都放进去，前提要保证你的jar包里面这些类确实存在 如下图，然后重新打包JAR 发不到集群运行。有问题欢迎加微信交流哟：yekepingyy...

join+window+eventtime如果使用eventtime需要注意的事情比较多,否则会出现十分诡异的不触发计算的情况,直接看如下示例代码public class People { String age; long eventTime; String eventTimeStr; String id; String name; public People(String age, long eventTime, String id, Str

public final class ContextHolder { private static ThreadLocalContext context = new ThreadLocalContext(); private String clientID; private String cId; private String sessionId; private long interval; private String packageName; ..

package apps;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.restartstrategy.RestartStrategies;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.api.java.tuple.

https://blog.youkuaiyun.com/jmx_bigdata/article/details/106466273

import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.java.typeutils.RowTypeInfo;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironm.

Hive/HiveSQL常用优化方法全面总结https://cloud.tencent.com/developer/article/1453464https://www.cnblogs.com/smartloli/p/4356660.html

HBase总结（九）Bloom Filter概念和原理https://blog.youkuaiyun.com/lifuxiangcaohui/article/details/39991781

Kafka面试题（附答案）https://blog.youkuaiyun.com/qq_28900249/article/details/90240936https://baijiahao.baidu.com/s?id=1647687262480100578&wfr=spider&for=pchttps://blog.youkuaiyun.com/weixin_35720385/article...

https://blog.youkuaiyun.com/u013573133/article/details/48142677?utm_medium=distribute.pc_feed_404.none-task-blog-2~default~BlogCommendFromBaidu~Rate-5.control404&depth_1-utm_source=distribute.pc_feed_404.none-task-blog-2~default~BlogCommendFromBaidu~Rate-5.contr

https://cloud.tencent.com/developer/article/1528548

需求： 对于任何一个用户量极大的系统来说做好系统保护是非常有必要的，系统保护可以用服务降级、限流、缓存等方式实现。在最近做的一个需求中需要对一些短时间内访问量很大的用户（主要是针对爬虫）做限流。在一定时间内聚合一次用户访问次数，超过阈值则需要启动限流措施了。限流的实现方式用很多种，我为什么要用storm进行实时计算用户访问次数做限流呢？其实是处于以后需求考虑，做限流只是其中一部分...