<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Light_Dream的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Light_Dream</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Light_Dream]]></copyright><item><title><![CDATA[设计模式中的原则]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/125504127</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/125504127</guid><author>Light_Dream</author><pubDate>Tue, 28 Jun 2022 16:16:23 +0800</pubDate><description><![CDATA[设计模式原则：单一职责原则，开闭原则，依赖倒转原则，里氏替换原则。]]></description><category></category></item><item><title><![CDATA[策略+简单工厂模式优化大量if-else分支]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/125448424</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/125448424</guid><author>Light_Dream</author><pubDate>Fri, 24 Jun 2022 16:41:30 +0800</pubDate><description><![CDATA[通过策略模式和简单工厂模式的结合优化大量if-else分支]]></description><category></category></item><item><title><![CDATA[README]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/125445707</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/125445707</guid><author>Light_Dream</author><pubDate>Fri, 24 Jun 2022 16:37:46 +0800</pubDate><description><![CDATA[写在学习设计模式之前]]></description><category></category></item><item><title><![CDATA[基于Graphhopper的路线导航方案]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/122499399</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/122499399</guid><author>Light_Dream</author><pubDate>Fri, 14 Jan 2022 18:47:02 +0800</pubDate><description><![CDATA[基于grasshopper的路线导航及如何自定义导航约束。]]></description><category></category></item><item><title><![CDATA[Spark 读取 Clickhouse]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/121627362</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/121627362</guid><author>Light_Dream</author><pubDate>Tue, 30 Nov 2021 10:54:13 +0800</pubDate><description><![CDATA[预过滤加载


    val tableName = s"(SELECT CAST(longitude AS DOUBLE) longitude , CAST(latitude AS DOUBLE) latitude  FROM location_log WHERE acquisition_time BETWEEN '$beginTime' and '$endTime') tempTable"

    val location: DataFrame = spark.read
      .format.]]></description><category></category></item><item><title><![CDATA[MongoDB 分片迁移]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/121536289</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/121536289</guid><author>Light_Dream</author><pubDate>Thu, 25 Nov 2021 14:29:59 +0800</pubDate><description><![CDATA[目前集群架构

mongos + config server * 3 + shard * 2 ( replication * 3)

首先使用mongo终端连接到mongos.

检查 balancer 是否开启 （必须为开启）


mongos&gt; sh.getBalancerState()
true

确定要删除的分片的名字，查看分片状态


mongos&gt; db.printShardingStatus()
--- Sharding Status --- 
  sharding version]]></description><category></category></item><item><title><![CDATA[clickhouse + prometheus + grafana 监控]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/121474941</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/121474941</guid><author>Light_Dream</author><pubDate>Mon, 22 Nov 2021 17:18:50 +0800</pubDate><description><![CDATA[prometheus + grafana 是已经存在的监控平台，此处不在赘述。只是介绍如何将 clickhouse 的监控数据接入 prometheus。

export 使用的是 clickhouse_exporter。

具体步骤如下：


git clone https://github.com/ClickHouse/clickhouse_exporter  

# go build 需要添加下go的代理，此处采用阿里的 
export GOPROXY=https://mirrors.aliyun..]]></description><category></category></item><item><title><![CDATA[Clickhouse 持久化 Kafka 数据]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/121292897</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/121292897</guid><author>Light_Dream</author><pubDate>Fri, 12 Nov 2021 17:48:28 +0800</pubDate><description><![CDATA[将Kafka中数据导入ClickHouse的标准流程是：

在ClickHouse中建立Kafka Engine 外表，作为Kafka数据源的一个接口
	在ClickHouse中创建普通表(通常是MergeTree系列）存储Kafka中的数据
	在ClickHouse中创建Materialized View, 监听Kafka中的数据，并将数据写入ClickHouse存储表中


ClickHouse 提供了Kafka Engine 作为访问Kafka集群的一个接口。

CREATE TABLE kafka.]]></description><category></category></item><item><title><![CDATA[Flink窗口+触发器 ，实现定时、定量批量写入Hbase不同的表]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/120334279</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/120334279</guid><author>Light_Dream</author><pubDate>Thu, 16 Sep 2021 18:00:30 +0800</pubDate><description><![CDATA[需求案例

消费kafka中的数据，根据业务类型不同批量写入不同的Hbase表。

按照数据量和数据延迟要求，写入时候分两种模式：

定量：满足指定数据量
	定时：满足指定数据延迟
技术点解析

定时使用窗口实现；

定量使用触发器实现；

写入Hbase不同的表使用自定义 RichSinkFunction 实现。



【未完待续...】






...]]></description><category></category></item><item><title><![CDATA[Flink CEP 之 车辆无效定位区间检测]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/120182981</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/120182981</guid><author>Light_Dream</author><pubDate>Wed, 08 Sep 2021 16:35:43 +0800</pubDate><description><![CDATA[Flink CEP 的概念这里不赘诉，直接上案例。

案例背景：

检测车辆无效定位，记录无效数据连续时间段。

car_state 为车辆定位是否有效字段，有1，2，3以及其他情况等等

（car_state &amp; 2）== 0 无效定位

（car_state &amp; 2）!= 0 有效有效



Talk is cheap. Show you my code .

依赖：


// CEP 依赖
shadow 'org.apache.flink:flink-cep-scala_2.12:1.]]></description><category></category></item><item><title><![CDATA[Flink 使用JDBC connector 写入 Clickhouse]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/120152418</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/120152418</guid><author>Light_Dream</author><pubDate>Tue, 07 Sep 2021 10:43:10 +0800</pubDate><description><![CDATA[写在前面

Flink 1.11.0 对JDBC connector 进行了一次较大的重构

重构之前（1.10.3 以及之前版本）， 包名为 flink-jdbc.
	重构之后（1.11.0 以及之后版本）， 包名为 flink-connector-jdbc.
Flink 1.11.0 以及之后版本需要采用flink-connector-jdbc + DataStream的方式写入数据到ClickHouse。

Flink 1.13.2+ flink-connector-jdbc

依赖：


...
.]]></description><category></category></item><item><title><![CDATA[Flink 实现电子围栏进出区域监控]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/114305008</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/114305008</guid><author>Light_Dream</author><pubDate>Wed, 03 Mar 2021 13:33:11 +0800</pubDate><description><![CDATA[目录



需求

技术点

实现

checkpoint

State Backends

Watermark

Broadcast State 模式

Keyed State

需求

用户自定义电子围栏，记录车辆进出电子围栏的时间。

技术点

checkpoint
	stateBackend
	watermark
	Broadcast State 模式
	数据流连接广播流
	state
实现

checkpoint

Flink中的每个方法或算子都能够是有状态的。状态化的方法在处理单个元素/事...]]></description><category></category></item><item><title><![CDATA[图片处理 BufferedImage 和 byte[] 相互转换]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/88944577</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/88944577</guid><author>Light_Dream</author><pubDate>Mon, 01 Apr 2019 11:38:21 +0800</pubDate><description><![CDATA[为什么要将bufferedImage 转为 byte[]
在网络传输中，图片是无法直接传输的，因此需要将其转为字节数组。

BufferedImage -&gt; byte[]

// 读取图片
BufferedImage image = ImageIO.read(new File("C:\\xx\\xx\\.jpg"));
// 创建输出流
ByteArrayOutputStream byte...]]></description><category></category></item><item><title><![CDATA[java调用keras离线训练的图片识别模型进行在线预测]]></title><link>https://blog.youkuaiyun.com/Light_Dream/article/details/88813227</link><guid>https://blog.youkuaiyun.com/Light_Dream/article/details/88813227</guid><author>Light_Dream</author><pubDate>Tue, 26 Mar 2019 17:24:46 +0800</pubDate><description><![CDATA[目前深度学习主要使用Python训练自己的模型，其中Keras提供了heigh-level语法，后端可采用Tensorflow或者Theano。



但是在实际应用时，大多数公司仍是使用java作为应用系统后台。于是便有了Python离线训练模型，Java调用模型实现在线预测。



Java调用Keras模型有两种方案，一种是基于Java的深度学习库DL4J导入Keras模型，另外一种是利...]]></description><category></category></item></channel></rss>