- 博客(171)
- 收藏
- 关注
RSS订阅原创 常见加密算法介绍
AES是一个块加密算法，意味着它会将明文数据分成固定大小的块（在AES中，每个块的大小是128位），然后对每个块进行加密。AES支持128位、192位和256位三种长度的密钥，这意味着AES的安全性非常高。AES的工作过程包括多个加密轮次，每个轮次都包括一系列的操作，包括字节替换（SubBytes）、行移位（ShiftRows）、列混淆（MixColumns）和轮密钥加（AddRoundKey）。这些操作一起确保了AES的高安全性。
2024-07-08 15:37:32
1229
原创 中国国家标准介绍
国家对于《信息技术》相关的标准还是非常多的，具体可以通过官网查看在项目中可以参考国家标准输出相关的文件材料可以在项目实施中按照国家标准来进行实施，可以避免后续在安全扫描、漏洞扫描、等保中产生严重问题，影响到项目交付。
2024-07-04 16:59:06
473
原创 Flink DataStream API 介绍
DataStream API 得名于特殊的 DataStream 类，该类用于表示 Flink 程序中的数据集合。你可以认为 它们是可以包含重复项的不可变数据集合。这些数据可以是有界（有限）的，也可以是无界（无限）的，但用于处理它们的API是相同的。
2024-05-20 14:30:11
635
原创 Flink DataSource介绍
一些比较基本的 Source 和 Sink 已经内置在 Flink 里。预定义 data sources 支持从文件、目录、socket，以及 collections 和 iterators 中读取数据。预定义 data sinks 支持把数据写入文件、标准输出（stdout）、标准错误输出（stderr）和 socket。
2024-05-17 14:21:13
385
原创 Flink 状态管理
一、介绍Flink状态包括：算子状态和按键分区状态，简单理解就是记录任务的中间状态或者数值二、按键分区状态（Keyed State）基于 KeyedStream 上的状态。这个状态是跟特定的 key 绑定的，对 KeyedStream 流上的每一个 key，都对应一个 state。按键分区状态分为：ValueState、ListState、ReducingState、MapState、AggregatingState2.1、ValueState即类型为T的单值状态package c
2024-04-02 14:50:32
502
原创 DataX介绍
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。github地址详细文档操作手册支持数据框架如下：架构Reader：为数据采集模块，负责采集数据源的数据，将数据发送给Framework。Writer：为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
2024-01-31 13:55:53
1499
原创 Flume介绍
Apache Flume 是一种分布式、可靠且可用的系统，用于有效地收集、汇总大量日志数据，并将其从多个不同来源转移到集中式数据存储区。Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume 可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件信息以及几乎所有可能的数据源。Source：数据收集组件，从外部数据源收集数据，并存储到 Channel 中。
2024-01-24 16:29:34
1400
原创 Maxwell介绍
介绍：它读取MySQL binlog并将数据更改作为JSON写入Kafka、Kinesis和其他流媒体平台（目前支持：kafka、RabbitMQ、Redis、file、Kinesis、Nats、Google Cloud Pub/Sub、Google Cloud Bigquery、SNS）版本：从v1.30.0版本开始不支持jdk1.8，支持jdk11，所以推荐使用v1.29.2版本。
2024-01-18 15:30:32
954
原创 Hive 部署
Apache Hive是一个分布式、容错的数据仓库系统，支持大规模的分析。Hive Metastore（HMS）提供了一个中央元数据存储库，可以轻松地进行分析，以做出明智的数据驱动决策，因此它是许多数据湖架构的关键组件。Hive构建在Apache Hadoop之上，并通过hdfs支持S3，adls，gs等存储。Hive允许用户使用SQL读取、写入和管理PB级数据。官网地址。
2023-12-26 15:00:17
1758
原创 zookeeper介绍
思路：每次创建临时顺序节点之后，判断当前节点是否为为最小序号节点，如果是最小序号节点，说明锁没有被占用，可以直接使用，如果不是最小序号节点，那说明锁已经被占用，需要等待上一个节点释放，才可以使用锁。目前最新的版本为：3.9.1，最新稳定版为：3.8.3，稳定版本为：3.7.2，3.6.4版本目前已经停产，理论上来说最推荐使用3.7.2，不过也要兼容其他组件的版本。语法：create [-s] [-e] [-c] [-t ttl] path [data] [acl]-v：指定要修改的节点的版本号。
2023-11-13 15:40:53
1302
原创 Flink 窗口
滚动窗口：TumblingProcessingTimeWindows.of(Time.seconds(10))滑动窗口：SlidingProcessingTimeWindows.of(Time.seconds(10), Time.seconds(2))会话窗口：ProcessingTimeSessionWindows.withGap(Time.seconds(5))
2023-09-08 14:38:16
889
原创 Scala面向对象
scala中的伴生对象类似于Java中的静态成员变量(static)，用于在一个类中声明静态属性，主对象可以调用伴生对象中的所有属性和方法（即使是私有的），不过这种用法可能不多，一般对象中也不会去声明一个静态属性，如果是想调用一些静态属性可以直接声明一个object对象。：伴生对象中的apply方法可以不使用new方法来初始化一个对象：val tom: Person = Person(“tom”)：scala中的继承和Java一样，可以在子类中定义父类中没有的字段和方法，或者重写父类的方法。
2023-07-12 10:44:52
537
原创 Spark算子
介绍：Spark中RDD 的算子分为两类：1、Transformation转换算子:返回一个新的 RDD2、Action行动算子:返回值不是 RDD(无返回值或返回其他的)Spark中的转换算子和Java中的Function非常的相似，也和Scala中的函数式编程类似，不过Spark中封装了更多的转换算子（真的是太多了(吐槽)）
2023-07-10 17:20:49
402
原创 Scala方法
3、函数是一个对象，继承自FunctionN，函数对象有apply，curried，toString，tupled这些方法。1、方法是隶属于类或者对象的，在运行时，它是加载到JVM的方法区中. 但是函数本身就是一个对象。2、可以将函数对象赋值给一个变量，在运行时，它是加载到JVM的堆内存中。2、类似于方法，函数也有输入参数和返回值。3、函数定义不需要使用def定义。1、函数是一个对象（变量）4、无需指定返回值类型。
2023-06-30 15:52:30
547
原创 RabbitMQ详解
RabbitMq是一个消息中间件，用于流量削峰，业务解耦等场景SpringBoot一共提供了如下5种交换机类型，包括：CustomExchange（自定义交换机）、DirectExchange、FanoutExchange、HeadersExchange、TopicExchange。
2023-06-01 14:52:06
1020
原创 使用JWT实现登录认证
session：存储再服务端，无法引用与分布式场景，并且需要占用服务端的资源cookie：存储再客户端，适用于分布式场景，但是存在安全问题，不支持垮域访问token：存储在localstorage中，更加灵活。
2023-05-23 17:06:23
2125
原创 XXL-SSO简要说明
XXL-SSO 是一个分布式单点登录框架。只需要登录一次就可以访问所有相互信任的应用系统。拥有”轻量级、分布式、跨域、Cookie+Token均支持、Web+APP均支持”等特性。现已开放源代码，开箱即用。官方文档XXL-SSO的原理其实非常的简单用户访问系统，如果没有登录会被重定向到服务端，在服务端进行登录，登录之后会将生成的认证信息存储在Cookie中，这样，同一个浏览器中的系统请求的时候都会携带上Cookie，这样就可以通过拦截器判断该用户是否登录，以此来实现单点登录的效果。
2023-05-22 17:25:09
1187
原创 MyBatis Plus 拦截器实现数据权限控制
上篇文章介绍的MyBatis Plus 插件实际上就是用拦截器实现的，MyBatis Plus拦截器对MyBatis的拦截器进行了包装处理，操作起来更加方便MyBatis Plus提供的InnerInterceptor接口提供了如下方法，主要包括：在查询之前执行，在更新之前执行，在SQL准备之前执行/**return;} } /*** 查询。
2023-05-18 11:27:23
5041
2
原创 MyBatis Plus 插件
这里只列举了2个常用插件，其他官方插件可以看。2、数据查询时自动添加租户字段的筛选条件。1、数据插入时租户字段数据的自动插入。
2023-05-16 11:05:08
1200
原创 MyBatis Plus 代码生成器
两种方式都可以生成代码，使用代码的方式更加灵活一些，代码也更加方便管理，使用插件更加快捷一点，也可以自定义修改插件模板，但是不方便团队维护。
2023-05-15 18:03:16
794
原创 Scala数据类型
一、scala数据类型结构图二、结构说明2.1、值类型基础类型类型说明AnyVal所有数值类型的父类Byte8位带符号整数Short16位带符号整数Int32位带符号整数Long64位带符号整数Char16位无符号Unicode字符Float32位单精度浮点数Double64位双精度浮点数Booleantrue或falseUnit表示空，Unit是AnyVal的子类，它类似于Java中的void2.2
2023-04-24 15:34:00
144
原创 YARN常用命令
命令说明yarn application -list列出所有Applicationyarn application -list -appStates ALL按任务状态过滤Application，包括：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLEDyarn application -kill <ApplicationId>kill掉Applicationyarn l
2023-04-19 17:28:08
427
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人