search-lemon-优快云博客

原创手把手教你Flink单机版安装部署，亲测可行！

下载安装部署包：wget https://archive.apache.org/dist/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.11.tgz解压缩：tar -xzvf flink-1.12.0-bin-scala_2.11.tgz进入conf目录下 flink-conf.yaml 修改rest.port 8778（8081端口过于常用）进入bin目录执行：（启动集群）./start-cluster.sh访问链接http://host:8

2021-06-22 15:41:29 8630

原创 Flink 1.11 SQL 快速上手，内含Demo及详细分析和使用过程，亲测可行！

文章目录1. 需引入的pom依赖2. Flink SQL批处理Demo3. Flink SQL流处理Demo4. Old Planner与Blink Planner4.1 Old Planner的使用4.2 Blink Planner的优势与局限Flink各个版本之间的API有比较大的gap，笔者将程序从Flink 1.7升级到Flink 1.11时，中间遇到了很多小问题。这里，给出一个使用Flink 1.11版本SQL API使用demo，并对需要注意的点和编写过程进行详细说明。1. 需引入的pom依

2020-11-04 22:58:47 2941 5

原创【达梦异常】open() failed.第 1 行, 第 7 列[`]附近出现错误

文章目录1. 异常详情2. 原因3. 解决办法1. 异常详情Caused by: java.sql.SQLException: 第 1 行, 第 7 列[`]附近出现错误: 语法分析出错 at dm.jdbc.dbaccess.DBError.throwSQLException(DBError.java:41) ~[Dm7JdbcDriver-17.jar:- 7.1.3.161 - Production] at dm.jdbc.dbaccess.Request_Response.resp_che

2021-12-09 11:13:38 3179

原创《操作系统原理》学习笔记：第5章虚拟内存

前言：该系列文章为笔者学习清华大学《操作系统原理》相关课程笔记，参考书籍《操作系统概念》《现代操作系统等》。如果涉及相关书籍或课程版权，联系即删～《操作系统原理》学习笔记：第5章虚拟内存5.1 虚拟内存的起因5.2 覆盖技术5.3 交换技术5.4 虚存技术5.1 虚拟内存的起因程序规模增长的速度远远大于存储器容量的增长速度，希望使更多的程序运行在有限的内存中理想中的存储器：更大、更快、更便宜、非易失性存储器实际中的存储器：Q：内存容量太小，磁盘容量大，但速度远远慢于内存，程序只能放在

2021-11-21 16:56:10 767

原创《操作系统原理》学习笔记：第4章非连续内存分配

前言：该系列文章为笔者学习清华大学《操作系统原理》相关课程笔记，参考书籍《操作系统概念》《现代操作系统等》。如果涉及相关书籍或课程版权，联系即删～《操作系统原理》学习笔记：第4章非连续内存分配4.1 为什么需要非连续内存分配4.2 分段（Segmentation）4.3 分页（Paging）4.4 页表（Page Table，分页机制中的映射表）4.4.1 概述4.4.2 快表（Translation Look Buffer，TLB）4.4.3 二级/多级页表4.4.4 反向页表（inverted pa

2021-11-21 16:50:58 2121

原创《操作系统原理》学习笔记：第3章操作系统内存管理

前言：该系列文章为笔者学习清华大学《操作系统原理》相关课程笔记，参考书籍《操作系统概念》《现代操作系统等》。如果涉及相关书籍或课程版权，联系即删～《操作系统原理》学习笔记：第3章操作系统内存管理3.1 计算机体系结构3.2 地址空间&地址生成3.3 连续内存分配3.3.1 内存碎片与分区的动态分配3.3.2 压缩式与交换式碎片整理3.1 计算机体系结构计算机基本硬件结构内存的层次结构操作系统在内存中需要完成的工作抽象（逻辑地址空间）不需要考虑底层细节，比如外设地址保护

2021-11-21 16:40:55 673

原创《操作系统原理》学习笔记：第2章操作系统基础操作

前言：该系列文章为笔者学习清华大学《操作系统原理》相关课程笔记，参考书籍《操作系统概念》《现代操作系统等》。如果涉及相关书籍或课程版权，联系即删～《操作系统原理》学习笔记：第2章操作系统基础操作2.1 操作系统的启动2.2 操作系统与设备和程序交互2.3 中断、异常和系统调用三者有什么区别和特点2.4 操作系统如何实现中断、异常和系统调用？2.4.1 中断2.4.2 异常2.4.3 系统调用2.1 操作系统的启动DISK：存放OS（操作系统并不是存放在内存中，而是放在磁盘，由BIOS提供支持）BI

2021-11-21 16:32:58 1224

原创《操作系统原理》学习笔记：第1章概述

前言：该系列文章为笔者学习清华大学《操作系统原理》相关课程笔记，参考书籍《操作系统概念》《现代操作系统等》。如果涉及相关书籍或课程版权，联系即删～《操作系统原理》学习笔记：第1章概述1.1 什么是操作系统1.2 Kernel操作系统内部组件1.3 OS Kernel的特征1.4 学习操作系统的挑战1.5 操作系统实例1.6 操作系统的历史与发展1.7 操作系统结构1.1 什么是操作系统用户角度上，操作系统是一个控制软件管理应用程序，为应用程序提供服务，杀死应用程序，同时为用户提供一些操作界面

2021-11-21 16:26:45 890

原创《数据仓库》读书笔记：第13章关系模型和多维模型数据库设计基础

该系列博文为《数据仓库 Building the Data Warehouse》一书的读书笔记，笔者将书中重点内容进行概括总结。大致保留书中结构，一部分根据自己的理解进行调整。如发现问题，欢迎批评指正。章节博文1《数据仓库》读书笔记：第1章决策支持系统的发展2《数据仓库》读书笔记：第2章数据仓库环境3《数据仓库》读书笔记：第3章设计数据仓库4《数据仓库》读书笔记：第4章数据仓库中的粒度5《数据仓库》读书笔记：第5章数据仓库和技术6《数

2021-10-22 11:13:22 531

原创《数据仓库》读书笔记：第12章大型数据仓库

该系列博文为《数据仓库 Building the Data Warehouse》一书的读书笔记，笔者将书中重点内容进行概括总结。大致保留书中结构，一部分根据自己的理解进行调整。如发现问题，欢迎批评指正。章节博文1《数据仓库》读书笔记：第1章决策支持系统的发展2《数据仓库》读书笔记：第2章数据仓库环境3《数据仓库》读书笔记：第3章设计数据仓库4《数据仓库》读书笔记：第4章数据仓库中的粒度5《数据仓库》读书笔记：第5章数据仓库和技术6《数

2021-10-11 17:14:11 379

原创 Flink内存管理模型及其演进

文章目录JobManager内存TaskManager内存组成部分配置参数描述Framework Heap Memorytaskmanager.memory.framework.heap.size用于 Flink 框架的 JVM 堆内存（进阶配置）。Task Heaptaskmanager.memory.task.heap.size用于 Flink 应用的算子及用户代码的 JVM 堆内存。Managed memorytaskmanager.memory.m

2021-09-25 14:36:44 332

原创常用存储间类型对照，包含mysql,clickhouse,oracle,hive,flink SQL

不同存储间数据传输的时候，类型匹配是个很让人头疼的事情，笔者总结了常用几种存储的类型对照，以供参考。有不准确的地方，欢迎批评指正~Java类型MySQL类型ClickHouse类型Oracle类型Hive类型Flink SQL类型bytetinyintInt8NUMBER(3,0)tinyintTINYINTshortsmallintInt16uint8NUMBER(5,0)smallintintintmediumintInt32uint16

2021-08-20 16:55:13 3387 2

原创详述Flink SQL Connector写入clickhouse的问题与方法

文章目录1. 问题描述2. 解决办法2.1 扩展jdbc connector支持clickhouse2.2 使用flink-connector-clickhouse1. 问题描述笔者使用Flink1.11 SQL（jdbc connector）将实时数据写入Clickhouse时报以下异常：Exception in thread "main" org.apache.flink.table.api.SqlParserException: SQL parse failed. Encountered "de

2021-08-20 14:59:34 10290 14

原创数据湖 | 还不知道什么是Iceberg？一篇文章带你走进Iceberg的世界！

文章目录1. Iceberg是什么？2. 能力与优势2.1 Iceberg都有哪些功能？2.2 Iceberg能力验证3. Iceberg应用场景参考文档近年来“数据湖”的概念在大数据领域如火如荼。delta、Apache Iceberg和Apache Hudi是市面上流行的三大数据湖解决方案，那到底这些方案是什么？又怎么使用？本文参考官网文档，带你快速入门iceberg，并从几个简单的例子出发，感受iceberg的能力。1. Iceberg是什么？Iceberg定位在计算引擎之下，存储之上，通过特定

2021-07-15 11:51:24 19388 3

原创【Flink异常】Could not find any factory for identifier ‘jdbc‘

文章目录1. 异常详情2. 原因3. 解决办法笔者在项目中添加了flink-connector-jdbc的依赖，全局搜索org.apache.flink.table.factories.DynamicTableFactory的实现类中有很多，其中包含Jdbc的实现类，但在服务器上运行任务时却报以下错误。1. 异常详情Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for iden

2021-06-22 17:05:45 15107 4

原创【Flink异常】Unable to instantiate java compiler

文章目录1. 异常详情2. 原因3. 解决办法1. 异常详情java.lang.IllegalStateException: Unable to instantiate java compiler at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.compile(JaninoRelMetadataProvider.java:428) ~[flink-table-blink_2.11-1.12-SNAPSHOT.jar:1.12-S

2021-06-22 16:52:55 5127 2

原创《数据仓库》读书笔记：第11章非结构化数据和数据仓库

《数据仓库》读书笔记：第11章非结构化数据和数据仓库1. 非结构化数据1. 非结构化数据

2021-06-15 18:51:55 1282

原创《数据仓库》读书笔记：第10章数据仓库和Web

《数据仓库》读书笔记：第10章数据仓库和Web1. Web环境1. Web环境web环境与企业系统进行交互的两种基本方法：①

2021-02-03 00:26:10 655 2

原创详解Flink读取不同格式kafka数据的使用与实现

文章目录1. Flink读取Kafka数据2. 读取不同数据类型的kafka数据Flink有封装好的读写kafka数据的connector可以直接使用，但不同的数据格式该使用什么方法获取？自己想要的自定义数据格式，如byte[]等原生没有，又该如何实现？下面进行详细介绍。1. Flink读取Kafka数据引入的pom依赖（根据具体kafka的版本原则，笔者使用的kafka是0.9版本）<dependency> <groupId>org.apache.flink</gr

2020-11-26 22:20:09 2233

原创【Flink异常】java.lang.NullPointerException：at org.apache.flink.streaming.runtime.tasks.OperatorChain$Co

文章目录1. 异常详情2. 原因及解决办法1. 异常详情java.lang.NullPointerException at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:577) at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChaini

2020-11-16 19:47:59 5199

原创【Flink异常】Caused by: org.apache.flink.table.api.ValidationException: Could not find any factories

文章目录1. 异常详情2. 原因3. 解决办法1. 异常详情Exception in thread "main" org.apache.flink.table.api.ValidationException: Could not find any factories that implement 'org.apache.flink.table.factories.FileSystemFormatFactory' in the classpath. at org.apache.flink.table.f

2020-11-04 21:06:01 21411 5

原创【Flink异常】flink与kafka版本匹配: NetworkClient$DefaultMetadataUpdater.handleServerDisconnect

文章目录1. 异常详情2. 报错原因及解决办法1. 异常详情[10:49:12:644] [Source: TableSourceScan(table=[[default_catalog, default_database, test_topic]], fields=[logtime, url, sign, scene, channel]) -> Sink: Sink(table=[default_catalog.default_database.print_table], fields=[log

2020-11-04 20:56:00 1963

原创【Flink异常】No operators defined in streaming topology. Cannot generate StreamGraph

文章目录1. 异常详情2. 报错代码（基于flink1.11版本）3. 原因及解决办法1. 异常详情Exception in thread "main" java.lang.IllegalStateException: No operators defined in streaming topology. Cannot generate StreamGraph. at org.apache.flink.table.planner.utils.ExecutorUtils.generateStreamGr

2020-11-04 20:40:39 13137

原创 Druid查询的几种方式

文章目录1. Druid原生查询1.1 原生查询请求格式及示例1.2 Druid查询类型2. Druid SQL查询2.1 Http post2.2 JDBC2.3 Druid SQL所需Druid版本问题Druid支持两种方式查询数据，原生方式和Druid SQL。接下来，本文将讲述这些查询方式该如何使用，并给出相应代码。文章内容主要参考Druid官方文档，先在开头附上Druid官方文档链接。1. Druid原生查询1.1 原生查询请求格式及示例原生查询方式为：请求体为JSON的HTTP请求，请求

2020-10-20 16:52:33 4518

原创【Hbase学习系列】Hbase常用过滤器使用详解

文章目录1. 行键过滤器 —— RowFilter1.1 CompareOperator1.2 ByteArrayComparable1.2.1 RegexStringComparator1.2.2 BinaryPrefixComparator1.2.3 SubstringComparator1.2.4 BinaryComparator1.2.5 BigDecimalComparator1.2.6 BitComparator1.2.7 LongComparator1.2.8 NullComparator2.

2020-10-09 16:32:28 2496

原创【Hbase学习系列】Hbase加载数据 / 写数据入Hbase

文章目录1. Hbase加载单条数据2. Hbase缓存池批量加载数据hbase加载数据，本文主要介绍两种方式，一个为单条数据的加载方式，另一个使用hbase自带缓存池批量加载数据。另外，也可使用hbase shell直接写入数据，参考文章【Hbase学习系列】hbase shell常用命令及使用示例。下面来介绍java版本数据写入hbase的过程。1. Hbase加载单条数据import org.apache.hadoop.conf.Configuration;import org.apache.

2020-10-09 15:58:53 541

原创【Hbase学习系列】hbase shell常用命令及使用示例

文章目录1. hbase shell常用命令2. 命令使用示例1. hbase shell常用命令hbase命令描述list列出Hbase中存在的所有表list ‘表名’确认表是否存在desc ‘表名’（describe ‘表名’）查看表结构和配置scan ‘表名’列出hbase表所有数据get ‘表名’，‘任一rowKey’取出表中随机一行数据truncate ‘表名’清空表create ‘表名’，‘colFamily’创建表，必须

2020-09-27 17:23:03 1571

原创【IDEA】maven helper插件安装使用（分析maven依赖关系的工具，方便解决jar包冲突问题）

IDEA maven helper插件安装使用1. IDEA中maven helper安装：2. maven helper使用：项目中常常存在jar包冲突导致的意想不到的问题，分析冲突的包1. IDEA中maven helper安装：① IDEA中File ⇒ setting② Plugins ⇒ Browse repositories③ 搜索maven helper插件，安装后重启IDEA即可（我这里已经安装过了，因此右侧红框内没有下载安装按钮）2. maven helper使用：点击

2020-08-08 15:53:42 11893 1

原创【Flink异常】Caused by: java.lang.RuntimeException: Row arity of from does not match serializers

【Flink异常】Caused by: java.lang.RuntimeException: Row arity of from does not match serializers1. 异常详情2. 分析原因3. 解决办法1. 异常详情Caused by: java.lang.RuntimeException: Row arity of from does not match serializers. at org.apache.flink.api.java.typeutils.runtime.R

2020-08-07 12:17:40 2479 1

空空如也

空空如也