cleargy-优快云博客

原创 FlinkCDC-MYSQL批量写入

思路：通过滚动窗口收集一批数据推给sink消费。binlog日志对于dataStream是没有key的，那么需要给每条数据造一个key。两种方式：（1）通过UUID创建一个全局key。（2）解析数据中的时间字段作为key。批次写入思路：使用executeBatch方式提交，url中需添加rewriteBatchedStatements=true。（3）Mysql：5.7.43 ##开启binlog。

2024-11-01 10:39:50 639

原创 scala中json转换问题

问题：对象转json字符串报错提示：scala中get和set方法实现与java中的不一样。Error:(26, 10) ambiguous reference to overloaded definition,both method toJSONString in class JSON of type (x$1: Any, x$2: com.alibaba.fastjson.serializer.SerializerFeature*)Stringand method toJSONStri

2024-10-29 13:28:46 413

原创 Kafka集群部署

1、修改配置文件：/config/server.properties，之后将该配置文件覆盖同步到其他两个节点上。注意需要修改下broker.id值，slave1节点上broker.id设置为1，slave2节点上设置为2，slave3节点上设置为3。（1）zoo_sample.cfd复制一份并重命名为zoo.cfg，并修改以下参数。之后将修改后的zookeeper包分发的slave2和slave3节点上。kafka单机部署修改zk和kafka配置文件与集群slave1上的配置文件修改相同。

2024-08-30 18:04:32 705

原创 django-vue-admin 本地部署

下载master分支zip代码包，解压后删掉web\src\views\system\demo\demo.vue，并注释以下部分代码，否则yarn bulid的时候会报关于curd的错误。主分支：master（稳定版本）开发分支：develop。前后端web与backend各自单独一个窗口打开运行。

2024-06-13 10:17:04 1005 1

原创 ventoy制作启动U盘

Ventoy新一代多系统启动U盘解决方案。国产开源U盘启动制作工具，支持Legacy BIOS和UEFI模式，理论上几乎支持任何ISO镜像文件，支持加载多个不同类型的ISO文件启动，无需反复地格式化U盘。把ISO系统文件拷贝到U盘，U盘插入电脑，Ventoy会自动识别U盘，然后点安装即可。

2024-03-01 15:43:15 1275

原创 Grafana7.x - 更换主题

1、Grafana主题项目　　https://github.com/GilbN/theme.park/2、三个重要文件　　transparent.css、grafana-base.css、aquamarine.css，将三个文件上传到/usr/share/grafana/public/css目录下(css目录是新建的)。3、样式文件访问　　主题样式文件访问方式：http://ip:...

2023-01-03 10:00:00 604

原创 Amabri 2.7.3 集群安装部署

注：以下所有操作都是用root权限！一、卸载自带jdk - 所有机器(1)查看自带JDk版本rpm -qa|grep java(2)卸载自带JDKrpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-0.b14.el7_4.x86_64rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-0.b......

2022-07-12 15:37:16 405

原创 Grafana - 更换主题

grafana主题更换

2022-07-12 13:59:19 1924

原创 crx文件安装Chrome插件提示程序包无效的解决办法

1、现象2、解决步骤（1）首先把需要安装的插件.crx后缀名改为rar，解压缩得到文件夹；（2）打开解压得到的文件夹，把里面的”_metadata”文件夹改名为”metadata”（去掉下杠）；（3）进入扩展程序中心，启用开发者模式（若已经开启“开发者模式”不用理会），加载正在开发的程序包，选择刚才解压的的文件夹就安装好了。...

2022-05-12 09:53:47 6361

原创 Axure 9 - 表格固定首尾列

表格固定首列的制作是建立在中继器的使用上，具体参见上一篇《Axure 9 - 中继器使用》。首列和尾列可以分别做成多列。下面三个表格需要分别根据中继器俩制作，第2个表格做完之后需要表头和中继器需要"组合"为一个整体，然后选中鼠标右键，将其转为动态面板，接着在动态面板中设置为“横向滚动”，就能显示出横向滚动条。适当调小动态面板宽度，预览的时候就会显示出来。最终效果：...

2022-04-22 11:14:38 3749

原创 Axure 9 - 中继器使用

一、中继器做表格1、在画板中拖入中继器2、双击中继器，进入中继器编辑状态，复制两个，效果如下3、退出中继器编辑状态，拖入表格，删除多余的行，只保留一行，作为表头，并填写表头字段。4、点击中继器，添加数据5、双击中继器进入中继器编辑状态，给中继器每个单元格设置一个名称，与表头的名称一致。6、设置好中继器每格的名称，退出编辑状态，进行表头与中继器数据的绑定。（1）点击中继器，目标元件中选中继器的元件名称，比如name，值选item.name。 ...

2022-04-22 10:32:27 5154

原创 Excel多列转列

一、多列转行方法 - 数据透视表1、源数据2、使用数据透视表3、默认配置，确定。4、配置行、列、值。4、总计的行和列隐藏，多列转行就制作完毕了！5、若源数据有值变动，需要在“数据”标签页中点“全部更新”，那么数据透视表中的数据也会随之更新。备注：数据透视表中行和列值会自动去重。...

2021-06-01 12:38:00 211

原创获取地图多边形点坐标

一、百度地图AK密钥申请1、密钥申请地址：http://lbsyun.baidu.com/apiconsole/key2、密钥申请配置：（1）应用类型：浏览器端；（2）白名单：无限制的话填 * 号；提交即可，系统会返回一个应用AK;3、获取地图多边形点坐标代码 - 纯js<!DOCTYPE html> <html> <head&...

2020-05-15 15:52:00 1323

原创 Office2016 Excel的VBA打开显示内存溢出

1、在excel开发工具中打开查看代码显示内存溢出刚安装完office2016，但是Excel中的Visual Basic却不能用。原因是加载路径有问题，以前装了wps软件，加载路径在wps文件夹里面。解决办法是，通过修改注册表的键值到VBE6EXT.OLB所在目录即可。2、解决方法打开注册表：HKEY_CLASSES_ROOT\TypeLib{0002E...

2019-09-27 14:20:59 10506 3

原创 centos7.5+Ambari2.7.3部署安装

--环境信息：182.15.240.145 master182.15.240.146 slave1182.15.240.147 slave2--安装所需的包：ambari-2.7.3.0-centos7.tar.gzHDP-3.1.0.0-centos7-rpm.tar.gzHDP-UTILS-1.1.0.22-centos7.tar.gzjdk-8u102-linux-x64.tar...

2019-08-12 09:56:00 1715

原创 Kylin基本介绍

一、什么是Kylin　　Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 ——摘自官网二、Kylin架构图三、Kylin特性（1）可扩展超快OLAP引擎：为减少在Hadoop/Spark上百亿规模数...

2019-07-19 14:17:00 550

原创 Azkaban集群部署

一、部署模式solo-server模式 (使用内置h2存储元数据)；two-server模式 (1个webServer,1个execServer在同一服务器上,使用mysql存储元数据)；multiple-executor模式 (1个webServer,多个execServer分布在不同服务上,使用mysql存储元数据)；本文选择第三种模式,即一台机器安装we...

2019-01-17 11:02:00 801

原创 win10安装ElasticSearch6.3.2+Kibana6.3.2

1、ElasticSearch和Kibana下载：https://www.elastic.co/downloads，版本要保持一致。2、ElasticSearch的配置（1）修改配置文件config/elasticsearch.ymla、文件末尾添加http.cors.enabled: true http.cors.allow-origin: "*"node.master: ...

2018-12-29 14:39:17 867

原创 Springboot动态定时任务

1、动态定时任务重点在于Trigger。采用Cron格式设置时间，时间存在redis中。比如key为crontime，value设置为10分钟，即crontime = "0 0/10 * * * ?"。在redis中人为修改时间，任务会在下个定时周期生效，不必重新启动程序。package com.exm.springmybatis.scheduler.task;import c...

2018-12-29 13:56:23 472

原创 ElasticSearch的Client创建方式

1、Elasticsearch 创建Client有几种方式（1）方式一import static org.elasticsearch.node.NodeBuilder.*;//节点方式创建。Node node = nodeBuilder().clusterName("yourclustername").node();Client client = node.client();还...

2018-12-27 10:21:17 1922

原创微软Windows 10更新十月版17763 MSDN官方ISO镜像正式版下载大全

今天微软正式发布了2018 Windows 10更新十月版正式版。用户可以通过易升更新助手和Windows更新进行升级到最新的Win10 Build 17763，微软也将发布2018 Windows 10更新十月版17763正式版MSDN官方原版ISO镜像下载，IT之家将关注更新。Windows 10更新十月版将以Windows 10 v1809版本的形式发布，在Windows 10 RS5系...

2018-12-15 19:31:18 2605

原创 Spring + Hbase整合

1、版本说明（1）spring版本：4.3.9.RELEASE（2）Hbase版本：1.1.2（3）Hadoop版本：2.7.1Hbase和hadoop的版本一定要与集群上的版本一致，不然程序会报方法不存在的各种异常！2、Hbase和Hadoop的pom<dependency> <groupId>o...

2018-12-09 12:16:41 2726

原创 Scala下foreachPartition + Hbase快速写

介绍工作中常常会遇到这种情形，需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文的方式将数据导入HBase, 7000W条数据，花费时间大概20分钟左右，本文Spark可用核数量为20。本文使用spark版本为1.3.0，hbase版本为0.98.1hba...

2018-11-19 18:23:11 1224

原创 Idea搭建mybatis-generator

1、springboot 2.0 + mybatis+web + mysql +jdbc 搭建项目2、pom.xml中引入mybatis-generator-maven-plugin，只需配置第二个plugin。之后会在Maven Projects的Plugins下自动生成一个mybatis-generator插件，配置generatorConfig.xml后双击该插件即可自动生成相关代码。...

2018-11-17 18:49:04 471

原创 Springboot中使用logback分类输出日志

1、logback配置 Springboot2.0默认集成了logback，无需再引入logback包。springboot会自动启用resources下的logback-spring.xml，无需在application.yml中特意指定其路径。日志具体配置如下:官方配置的日志输出格式：%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %log...

2018-11-15 14:36:35 1729

原创 Elasticsearch5.6.11+Ik分词器和自定义词库的配置与使用

1、Ik分词器下载在https://github.com/medcl/elasticsearch-analysis-ik中下载对应版本的IK分词器elasticsearch-analysis-ik-5.6.11.zip。2、Ik分词器配置在elasticsearch-5.6.11根目录plugins文件夹下新建一个名为ik的文件夹，将elasticsearch-analysis-ik-...

2018-10-09 18:02:43 2149

原创 SpringBoot+ElasticSearch整合

1、在使用SpringBoot整合Elasticsearch 之前，了解下它们之间的版本对应关系：Spring Boot Version (x) Spring Data Elasticsearch Version (y) Elasticsearch Version (z) x <= 1.3.5 y <= 1.3.4 z <= 1.7.2* x ...

2018-10-08 16:16:34 2540 1

原创 win10安装ElasticSearch6.3.0+Head插件

1、Elasticsearch简介（1）ElasticSearch是一个基于Lucene的搜索服务器，其实就是对Lucene进行封装，提供了 REST API 的操作接口，作为一个高度可拓展的开源全文搜索和分析引擎，可用于快速地对大数据进行存储，搜索和分析。（2）ElasticSearch主要特点：分布式、高可用、异步写入、多API、面向文档。（3）ElasticSearch核心概念：近...

2018-09-28 17:27:52 2039

原创 Spark算子：RDD分区中的元素和数量统计

1、分区逻辑Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。2、分区元素统计可以利用RDD的mapPartitionsWithIndex方法来统计每个分区中的元素及数量。示例1：假如创建一个RDD，默认分区15个，因为...

2018-09-27 10:47:26 1174

原创 Spark算子：RDD创建的方式

创建RDD大体分为两类方式：（1）通过集合创建；（2）通过外部存储创建。1、通过集合方式（1）parallelize：def parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(implicit arg0: ClassTag[T]): RDD[T]参数seq指Seq集合，numSlices指分区数。sc...

2018-09-21 10:28:53 235

原创 Spark算子：transformation之键值转换partitionBy、mapValues、flatMapValues

1、partitionBy：def partitionBy(partitioner: Partitioner): RDD[(K, V)]该函数根据partitioner函数生成新的ShuffleRDD，将原RDD重新分区。scala> var rdd1 = sc.makeRDD(Array((1,"A"),(2,"B"),(3,"C"),(4,"D")),2)rdd1: org....

2018-09-21 10:16:24 245

原创 Spark算子：transformation之键值转换leftOuterJoin、rightOuterJoin、subtractByKey

1、leftOuterJoin1）def leftOuterJoin[W](other: RDD[(K, W)]): RDD[(K, (V, Option[W]))]2）def leftOuterJoin[W](other: RDD[(K, W)], numPartitions: Int): RDD[(K, (V, Option[W]))]3）def leftOuterJoin[W](ot...

2018-09-21 10:12:05 220

原创 Spark算子：transformation之键值转换join、cogroup

1、join1）def join[W](other: RDD[(K, W)]): RDD[(K, (V, W))]2）def join[W](other: RDD[(K, W)], numPartitions: Int): RDD[(K, (V, W))]3）def join[W](other: RDD[(K, W)], partitioner: Partitioner): RDD[(K,...

2018-09-21 10:03:51 187

原创 Spark算子：transformation之键值转换combineByKey、foldByKey

1、combineByKey1）def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)]2）def combineByKey[C](createCombiner: (V) => C, mergeValu...

2018-09-21 09:51:42 198

原创 Spark算子：transformation之键值转换groupByKey、reduceByKey、reduceByKeyLocally

1、groupByKey1）def groupByKey(): RDD[(K, Iterable[V])]2）def groupByKey(numPartitions: Int): RDD[(K, Iterable[V])]3）def groupByKey(partitioner: Partitioner): RDD[(K, Iterable[V])]该函数用于将RDD[K,V]中每个...

2018-09-21 09:42:38 266

原创 Spark算子：Action之saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset

1、saveAsNewAPIHadoopFile1）def saveAsNewAPIHadoopFile[F <: OutputFormat[K, V]](path: String)(implicit fm: ClassTag[F]): Unit2）def saveAsNewAPIHadoopFile(path: String, keyClass: Class[_], valueCla...

2018-09-21 09:20:42 4879

原创 Spark算子：Action之saveAsHadoopFile、saveAsHadoopDataset

1、saveAsHadoopFile：1）def saveAsHadoopFile(path: String, keyClass: Class[_], valueClass: Class[_], outputFormatClass:Class[_ <: OutputFormat[_, _]], codec: Class[_ <: CompressionCodec]): Unit2...

2018-09-21 09:13:18 1882

原创 Spark算子：Action之countByKey、foreach、foreachPartition、sortBy

1、countByKey：def countByKey(): Map[K, Long]countByKey用于统计RDD[K,V]中每个K的数量。scala> var rdd1 = sc.makeRDD(Array(("A",0),("A",2),("B",1),("B",2),("B",3)))rdd1: org.apache.spark.rdd.RDD[(String, In..

2018-09-21 09:02:50 327

原创 Spark算子：Action之saveAsTextFile、saveAsSequenceFile、saveAsObjectFile

1、saveAsTextFile1）def saveAsTextFile(path: String): Unit2）def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): UnitsaveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。var rdd1 = sc.makeRD...

2018-09-21 09:02:30 1229

原创 Spark算子：Action之aggregate、fold、lookup

1、aggregate：def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U该函数用于聚合RDD中的元素，先使用seqOp将RDD中每个分区中的T类型元素聚合成U类型，再使用combOp将之前每个分区聚合后的U类型聚合成U类型，特别注意seqOp和...

2018-09-20 17:51:05 352