- 博客(221)
- 收藏
- 关注
RSS订阅原创 flink 自定义周期水印，解决最后一个窗口因为缺少数据到达，不触发问题
1.自定义周期水印public class MyWaterMark implements AssignerWithPeriodicWatermarks<MyEvent> { private final long maxTimeLag = 3000; // 3 seconds @Override public long extractTimestamp(MyEvent element, long previousElementTimestamp) {
2022-02-25 18:47:14
3117
原创 cvat标注工具docker容器启动
1.安装postgresql，Windows 上安装 PostgreSQL | 菜鸟教程用上面安装好的pdadmin，创建一个mypgsql用户，授予所有权限然后创建一个cvat数据库，并将owner指定为mypgsql用户2.安装redis3.拉取镜像，并启动容器 拉取镜像docker pull openvino/cvat_server:latest 启动容器（注意挂载到主机上的目录/data/cvat_data_dir，要给予777权限，否则容器内应...
2022-01-14 19:05:03
1299
原创 opencv学习
1.opencv读取的摄像头数据是BGR排列的如果发现，读取摄像头后的图像蓝色为棕色，将图像转为RGB即可Imgproc.cvtColor(mat, mat, Imgproc.COLOR_BGR2RGB);
2021-12-14 14:35:29
2690
原创 doris常用命令
1.基本维护命令1.查看前端节点SHOW PROC '/frontends'2.查看后端节点SHOW PROC '/backends'3.查看表数据大小SHOW DATA # 查看所有表大小SHOW DATA FROM org_project_data_2 # 查看指定表大小5.查看表分区SHOW PARTITIONS FROM new_table_name6.查看load数据的lable的任务执行情况SHOW LOAD WHERE label="my_label1"7.重命名
2021-11-25 10:31:26
4746
原创 自定义flink触发器注意事项
1.几个重要方法onElement方法 ，每有一个元素过来都会被调用onProcessTime 方法，只要有一个元素过来，等到窗口最大滚动时间到，就会自动调用onEventTime 方法，必须在onElement方法中，在有元素到来时，通过context的ctx.registerEventTimeTimer(window.maxTimestamp());方法注册一个以当前窗口最大时间戳为时间的定时器（注册定时可以参看flink的默认触发器EventTimeTrigger类）。并且还要水印时
2021-09-28 19:08:46
223
原创 Springsecurity普通登录认证和OAuth2产生token的认证流程
一、普通登录认证过程 1.用户发起登录请求，请求登录接口/login（springsecurity默认登录接口地址） 2.过滤器UsernamePasswordAuthenticationFilter验证当前请求是否是在请求登录接口/login,如果是调用attemptAuthentication方法开始认证 3.attemptAuthentication方法在请求中获取到username、password参数封装成一个Authentication对象，调用...
2021-08-10 11:37:32
5855
原创 Spark on yarn时，yarn-client、yarn-cluster、client、cluster用法
1.yarn-client、cluster用法：spark-submit \--master yarn-cluster \上面的写法等价于spark-submit \--master yarn \--deploy-mode cluster \2.yarn-client、client用法spark-submit \--master yarn-client \等价于spark-submit \--master yarn \--deploy-mode client.
2021-08-09 17:55:15
149
原创 requestMatchers()方法与authorizeRequests()区别，ResourceServerConfigurerAdapter与WebSecurityConfigurerAdapt
一、requestMatchers()方法与authorizeRequests()区别 1.理解这两个方法的区别首先要知道springsecurity中，每声明一个adapter实例，就会产生一条过滤器链，一个请求过来要走哪个过滤器链就是由requestMatchers()方法配置的url决定的。请求匹配上requestMatchers()配置的过滤器链后，在进一步的详细控制则是authorizeRequests()决定的。例如： 下面这个adapter只对/api1...
2021-08-09 14:42:53
6898
1
原创 解决spark on yarn模式时，在yarn的web界面上点击ApplicationMaster无法看到SparkWebUi界面
1.需要在hadoop集群的所有节点yarn-site.xml中加入如下配置 <property> <name>yarn.web-proxy.address</name> <value>master01:8089</value> </property>在指定的master01节点启动web-proxy服务：./sbin/yarn-daemon.sh start proxyserver2.重启所有节点.
2020-11-23 19:09:35
2823
1
原创 解决cdh hive 与apache hadoop 混装，导致的cdh hive 启动失败
https://blog.youkuaiyun.com/ggwxk1990/article/details/77926944
2020-10-26 20:01:50
396
原创 logback配置
1.配置<?xml version="1.0" encoding="UTF-8"?><configuration debug="false"> <!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径--> <property name="LOG_HOME" value="logs"/> <!-- 控制台输出 --> <appender name="STDOUT" class="ch.
2020-09-27 18:38:57
212
原创 influxdb 动态修改@Measurement注解
https://segmentfault.com/a/1190000020681052?utm_source=tag-newest
2020-09-09 17:15:28
1885
原创 ES优化
1.ES的堆栈内存默认1G，实际生产要调整，调整到实际内存的一半，可以通过配置环境变量ES_HEAP_SIZE调整。参考：https://www.cnblogs.com/xingxiz/p/10267036.htmles常用状态查看命令：https://blog.youkuaiyun.com/u014017121/article/details/703127842.增加bulk 操作效率threadpool.index.queue_size: 1000indices.memory.index_buff
2020-09-07 13:37:47
299
原创 hive内部表和外部表，增加分区并加载数据区别
假定有hive中有两个表empl_inn(内部表)和empl_ext(外部表),他们都有分区（logdate string）；1.对于外部表 empl_extalter table empl_ext add partition (logdate=‘2015-02-26’) location ‘hdfs://nameservice1/vod_pb/’; 执行添加分区时 vod_pb/ 文件夹下的数据不会被移动。并且没有分区目录logdate=2015-02-26alter table empl_ext
2020-08-27 16:43:35
1271
原创 ES 批量Bulk操作存储数据到ES数据丢失解决
private static void output(SearchHit[] hits) { BulkRequestBuilder prepareBulk = writeClient.prepareBulk(); for (SearchHit sh : hits) { prepareBulk.add(writeClient .prepareIndex(writeI...
2020-07-24 11:01:48
12788
原创 flume按照业务字段落盘hdfs
https://blog.youkuaiyun.com/weixin_33829657/article/details/89995285
2020-07-16 08:50:48
198
原创 docker安装部署
https://blog.youkuaiyun.com/itguangit/article/details/80222387
2020-06-14 20:44:00
305
原创 idea插件： 模仿mybatis插件 根据方法名跳转到对应的mapper文件，并将光标定位到对应的sql
https://www.bbsmax.com/A/A7zgmaLV54/
2020-04-27 15:58:20
1778
原创 Zuul服务调用超时，配置处理
https://blog.youkuaiyun.com/wangxi_xixi/article/details/80348089
2020-03-31 18:47:14
576
原创 rabitmq消息序列化和反序列化处理
https://blog.youkuaiyun.com/Sadlay/article/details/86716028
2020-03-31 14:54:09
520
原创 docker push到私有仓库
1、登录docker login http://xxxxx.com2、登录私有hub创建项目 例如项目叫：abc-dev2、给镜像打tag docker tag2e25d8496557xxxxx.com/abc-dev/arc:1334 2e25d8496557：IMAGE ID，可以用docker images 查看 xxxxx.com：私有hub域名...
2020-01-13 15:39:43
3478
原创 RestTemplate状态码为401时，获取不到body信息
调用第三方api 若是服务返回状态码不为200，默认会执行DefaultResponseErrorHandler异常处理@Override public void handleError(ClientHttpResponse response) throws IOException { HttpStatus statusCode = getHttpStatusCode(respons...
2020-01-07 17:00:21
14873
2
转载 使用 Spring Cloud Bus 自动刷新配置(SpringBoot2.x版本)
上文（点此回顾）介绍了 Spring Cloud 中配置中心的搭建以及客户端(即微服务项目，如博客系统)读取配置中心配置的方法。但是，我们发现，每次在 GitHub 上修改配置，比如修改了数据库账号密码，需要重启客户端项目才生效，这个成本还是比较大的。我们之前说了 Spring Cloud Config 可以实现自动刷新配置的，怎么实现呢？本文将介绍通过 Spring Cloud Bu...
2019-12-20 15:58:26
411
原创 nodemcu esp8266 web配置wifi热点
https://blog.youkuaiyun.com/baidu_40421975/article/details/78877950https://www.cnblogs.com/wangzexi/p/5719369.html
2019-12-01 21:15:54
1019
转载 MongoDB 那些坑
MongoDB 是目前炙手可热的 NoSQL 文档型数据库，它提供的一些特性很棒：如自动 failover 机制，自动 sharding，无模式 schemaless，大部分情况下性能也很棒。但是薄荷在深入使用 MongoDB 过程中，遇到了不少问题，下面总结几个我们遇到的坑。特别申明：我们目前用的 MongoDB 版本是 2.4.10，曾经升级到 MongoDB 2.6.0 版本，问题依然存在，...
2019-11-22 16:39:13
330
原创 利用rocketchat 、hubot与jenkins集成完成ChatOps
https://www.jianshu.com/p/76d547fa23ac
2019-11-22 14:59:41
1200
原创 Flink checkpoint 状态存储策略state backends详解
Flink之状态之状态存储 state backends流计算中可能有各种方式来保存状态：窗口操作 使用 了KV操作的函数 继承了CheckpointedFunction的函数当开始做checkpointing的时候，状态会被持久化到checkpoints里来规避数据丢失和状态恢复。选择的状态存储策略不同，会导致状态持久化如何和checkpoints交互。1.可用的状态持久化策略...
2019-11-13 15:41:55
1202
原创 flink kafka sink 默认分区器 FlinkFixedPartitioner 原理与注意
FlinkFixedPartitioner源码：package org.apache.flink.streaming.connectors.kafka.partitioner; import org.apache.flink.util.Preconditions; public class FlinkFixedPartitioner<T> extends FlinkKaf...
2019-11-13 15:24:51
2765
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人