sunlang的博客

从日志文件中根据关键词"dh=",筛选出符合要求的行。从行中筛选出列，这时一个单独的列就是一个字符串。从多行中筛选出最近一次的dh，也就是最后一样。spark任务异常失败后，需要重启任务。如何知道上次失败的时候dh执行到了何处。因此每次重启的任务这个参数都是不同的。用字符串处理方式得到最终的值。需要借助任务执行日志来确定。任务需要一个时间参数dh。dh是动态的向后流动的。

springboot封装azkaban的api，提供可调用azkaban任务流的接口流程如下：springboot接口->azkaban api->azkaban project(flow tasks)->shell脚本->spark tasks。

null

无

spark 中的 UDF (UserDefinedFunction) 大家都不会陌生, UDF 其实就是将一个普通的函数, 包装为可以按 “行“ 操作的函数, 用来处理 DataFrame 中指定的 Columns.例如, 对某一列的所有元素进行 +1 操作, 它对应 mapreduce 操作中的 map 操作. 这种操作有的主要特点是: 行与行之间的操作是 独立 的, 可以非常方便的 并行计算 每一行的操作完成后, map 的任务就完成了, 直接将结果返回就行, 它是一种”无状态的“但是 UDAF

拉链表 spark

长周期数据更新的两种实现方案

日志追踪，关键字提取，任务失败重启策略。

【代码】基础同步工具。

【代码】基础工具类。

【代码】变化的日期。

flink+drools动态规则示例之温度跳变告警package com.mz.test;import com.google.common.collect.Lists;import lombok.*;import lombok.Getter;import lombok.NoArgsConstructor;import lombok.Setter;import lombok.ToString;import org.apache.flink.api.common.state.Broadcast

当没有使用状态的时候，如第一次部署我们设置了 consumer.setStartFromTimestamp(DateUtil.getMillsFromString(startTime));那么这个参数就会起作用当我们任务从ck状态恢复的时候，这个参数就失去了作用如下图任务从ck恢复，时间设置为2021-06-05但是并没有从凌晨消费，而是从下午3点...

package com.mz.iot.test;import com.mz.iot.utils.DateUtil;import com.mz.iot.utils.FlinkUtils;import com.mz.iot.utils.LogUtils;import lombok.*;import org.apache.commons.compress.utils.Lists;import org.apache.flink.api.common.functions.MapFunction;im.

package com.mz.iot.test;import com.mz.iot.optional.MyContinuousEventTimeTrigger;import com.mz.iot.utils.DateUtil;import com.mz.iot.utils.FlinkUtils;import com.mz.iot.utils.LogUtils;import lombok.*;import org.apache.commons.compress.utils.Lists;imp.

package com.mz.iot.test;import com.mz.iot.optional.MyContinuousEventTimeTrigger;import com.mz.iot.utils.DateUtil;import com.mz.iot.utils.FlinkUtils;import com.mz.iot.utils.LogUtils;import lombok.*;import org.apache.commons.compress.utils.Lists;imp.

最近物联网实时项目要进行分层以及加大供应商的数据传输频率，必然涉及到大量的网络io，宽带费用因此调研kafka数据传输和存储的压缩方案，决定采用protobuf环境依赖 <dependency> <groupId>com.google.protobuf</groupId> <artifactId>protobuf-java</artifactId>

数据采集规范由于需要采集的异构数据源有SQLSERVER，MYSQL，Elastic Search，单独的Sqoop不满足需求，因此选型Spark以自定义的方式采集数据到数据仓库导入策略为新增和变化ES的导入示例#!/bin/bashif [ $1 ];thenhost=$1elseecho 'need es host'exitfiif [ $2 ];thendt=$2elsedt=`date -d "-1 day" +%F`fiif [ $3 ];the

POST ads_iot_latest_index/_delete_by_query{ "query": { "match_all": { } }}一个异常的解决Caused by: ElasticsearchException[Elasticsearch exception [type=cluster_block_exception, reason=blocked by: [FORBIDDEN/12/index read-only / allow delete.

/** * 这个offset会保存在状态，也会保存在__consumer_offset中 * 因此如果没有使用新的消费者组，重启任务即使不使用状态也不会从头消费 */ consumer.setCommitOffsetsOnCheckpoints(true); /** * 这里始终不提交，在kafka-eagle中都不会有这个consumer的信息 */ ...

savepoint使用场景状态恢复，程序更新，升级，bug修复，版本迁移，暂停或重启应用SavePoint是一个重量级的Checkpoint,你可以把它当做在某个时间点程序状态全局镜像，以后程序在进行升级，或者修改并发度等情况，还能从保存的状态位继续启动恢复。可以保存数据源offset，operator操作状态等信息，可以从应用在过去任意做了savepoint的时刻开始继续消费。用户手动执行，是指向Checkpoint的指针，不会过期，在集群升级/代码迁移等情况下使用。注意：为了能够在作业的

编译，下载源码git clone https://github.com/smartloli/kafka-eagle.git用ide打开源码项目，配置好mavenproject的pom文件添加maven编译插件 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId&

cls @ECHO OFF SET CLEAR_PATH=C: SET CLEAR_DIR=C:\Users\Administrator\.m2\repositorycolor 0a TITLE ClearLastUpdated For Windows GOTO MENU :MENU CLSECHO. ECHO. * * * * ClearLastUpdated For Windows * * * * ECHO. * * ECHO. * 1 清理*.lastUpdated * .

版本下载http://www.kafka-eagle.org/articles/docs/changelog/changelog.html修改kafka-server-start.sh修改kafka-server-start.sh命令中if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi为if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

索引升级方案一，索引重建：PUT /ads_iot_water_index_temp{ "mappings": { "_doc": { "dynamic": "strict", "properties" : { "cnts" : { "type" : "float" }, "dh" : { "type" : "text",

package com.mz.iot;import com.alibaba.fastjson.JSON;import com.mz.iot.bean.MaxMinAvg;import com.mz.iot.bean.DataOrigin;import com.mz.iot.utils.Conf;import com.mz.iot.utils.DateUtil;import com.mz.iot.utils.EsSinkUtil;import com.mz.iot.utils.JsonUti.

package com.mz.iot;import com.alibaba.fastjson.JSON;import com.mz.iot.bean.DataOrigin;import com.mz.iot.bean.UseResult;import com.mz.iot.utils.Conf;import com.mz.iot.utils.DateUtil;import com.mz.iot.utils.EsSinkUtil;import com.mz.iot.utils.JsonUti.

程序升级，代码修改，重构，bug修复等等，当你的代码修改后，什么情况下会导致历史ck不可用?一，job graph变化会导致不可用例如注释掉流的print，print实际上是sink

结论：flink的窗口计算是有状态的计算，并且是自动维护状态，持久化到外部系统以下是验证过程import com.mz.iot.utils.DateUtil;import org.apache.flink.api.common.functions.AggregateFunction;import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.api.common.functions.

开滚动窗口的时候 /** * Creates a new {@code TumblingEventTimeWindows} {@link WindowAssigner} that assigns * elements to time windows based on the element timestamp and offset. * * <p>For example, if you want window a stream by hour,but window begi

待处理

一个索引在查询的时候，查询者如下写法：GET /iot_ads_x_hour/_doc{ "query": { "bool": { "must": [{ "term": { "equipmentNo.keyword": "R19009-0002-0003-120100LAE-1011" } }, { "term": { "span": "1" } }, { "range": { "t_start": { .

同步脚本#!/bin/bashif [ $# -lt 1 ]then echo Not Enough Arguement! exit;fifor file in $@do pdir=$(cd -P $(dirname $file); pwd) fname=$(basename $file) for host in mz-hadoop-01 mz-hadoop-02 mz-hadoop-03 do echo ===========.

使用任意的值(可以是df中存在的列值，也可以是不存在的)增加一列 .withColumn("last_update_time", lit(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss"))) .withColumn("t_start", col = concat(frame_result("dt"), lit(" "), frame_result("dh"), lit(":00:00")))...

随着业务的发展，这是一个很常见的需求#创建索引,手动指定mappingPUT /ads_iot_electricity_index2{ "mappings": { "_doc": { "properties": { "dh": { "fields": { "keyword": {

sparksql的dataframe进行etl的时候，一行数据就是一个row我们如果用模式匹配：某一个字段定义的是String，但是该字段的值有可能为null的情况，此时会有MatchError为避免此类错误，我们可以使用匹配样例类：...

背景：初始的时候，在cdh中部署了kafka集群后来方案改为kafka消息平台和cdh中的hive，spark等计算平台分离由于之前的kafka部署配置，污染到后面的apache的kafka集群，使得其消费不到消息我们查看__consumer_offsets 这个topic情况我们apach kafka中的broker根本没有123，这个是cdh中的配置实际的三个brokerid是0，1，2停掉集群，在zookeeper中删除 rmr /brokers/topics/__co

版本：flink1.10.1cdh 5.16.2参考链接：https://www.cnblogs.com/TurboWay/p/13095579.htmlhttps://www.cnblogs.com/TurboWay/p/13095579.html

如果跑了一年的数据的一个表，突然想增加一个字段，如何处理？像git一样，新开分支，分支的数据跑完了，可以完全替代旧的了，切换到新分支