IT贫道-优快云博客

原创 Window10 没有 bthserv服务或者没有 “蓝牙支持服务”

部分Windows系统存在bthserv服务丢失导致蓝牙开启后搜索不到设备的现象，可通过导入bthserv服务注册表文件，重启系统后打开蓝牙相关服务（BTAGService、BluetoothUserService_随机数、bthserv）后解决，此文件在Win10环境亲测可用。退出电脑所有安全杀毒软件，下载解压后，直接双击运行即可。

2024-10-20 20:32:41 521

原创 Apache Flink连载（四十二）：Flink基于Kubernetes部署 - Kubernetes部署模式之Application Cluster-非HA Application Cluster

以下参数中 standalone-job、--job-classname 是固定的，后面一个参数是运行的Flink 主类，还可以继续跟参数，例如："--input","/xxx/xx"- name: job-artifacts-volume #这里必须指定该路径，注意是usrlib ，Flink会从该路径读取用户自己的jar包。#将主类对应的jar包放入到该路径下(该路径要在k8s集群所有节点都要有才可以)，可以自定义路径，直接会挂载到容器中。浏览器中输入的ip可以是K8s集群中任意节点的IP。

2024-03-07 11:45:00 319

原创 Apache Flink连载（四十）：Flink基于Kubernetes部署 - Kubernetes部署模式之Session Cluster部署-非HA Session Cluster部署及测试

向K8S部署的Flink集群中提交应用程序如果打印结果到控制台不支持在WebUI中的TaskManager中查看对应的Console日志，主要原因是K8S 基于Docker运行Flink TaskExecutor和JobMaster 进程时不会将STDOUT日志重定向到文件中。基于K8s的Flink Standalone 集群我们可以通过Flink WebUI来提交Flink任务，也可以通过Flink客户端命令提交任务。Session集群WebUI。浏览器中输入的ip可以是K8s集群中任意节点的IP。

2024-03-06 11:45:00 259

原创 Apache Flink连载（四十一）：Flink基于Kubernetes部署 - Kubernetes部署模式之Session Cluster部署-HA Session Cluster部署及测试

以上删除该Active JobManager对应的pod后，Kubernetes机制本身会尝试重启新的Pod，当然由于我们配置了Flink HA ,所以Kubernetes会在新启动的JobManager Pod与原来运行的Standby JobManager Pod中进行自动选主，有一定概率会选择原来一直运行的JobManager Pod当做Active JobManager。由于HA模式使用到了HDFS集群，所以这里应该首先启动HDFS集群然后再部署对应的yaml文件。

2024-03-06 11:45:00 272

原创 Apache Flink连载（三十九）：Kuberneters 部署案例

这里为了强化对Kubernetes集群的理解，我们基于Kubernetes集群进行部署nginx服务，nginx服务我们设置2个副本，同时将nginx服务端口80暴露到宿主机上。访问任意kubernetes集群的节点30080端口查看nginx服务是正常，例如：浏览器输入node1:30080。🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

2024-03-05 11:45:00 288

原创 Apache Flink连载（三十八）：Kubernetes集群UI及主机资源监控

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

2024-03-04 11:45:00 222

原创 Apache Flink连载（三十七）：Flink基于Kubernetes部署(7)-Kubernetes 集群搭建-3

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

2024-03-03 11:45:00 375

原创 Apache Flink连载（三十六）：Flink基于Kubernetes部署(6)-Kubernetes 集群搭建-2

K8s使用calico部署集群网络,安装参考网址：https://projectcalico.docs.tigera.io/about/about-calico。只需要在Master节点安装即可。主要用来验证k8s集群节点网络是否正常。这里只需要在Master节点安装就可以。

2024-03-02 11:45:00 245

原创 Apache Flink连载（三十五）：Flink基于Kubernetes部署(5)-Kubernetes 集群搭建-1

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~这里安装Kubernetes版本为1.25，在所有主机（node1,node2,node3）安装kubeadm，kubelet,kubectl。

2024-03-01 21:10:34 428

原创 Apache Flink连载（三十四）：Flink基于Kubernetes部署(4)-Kubernetes 集群搭建环境准备

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~这里使用kubeadm部署工具来进行部署Kubernetes。Kubeadm是为创建Kubernetes集群提供最佳实践并能够“快速路径”构建kubernetes集群的工具。它能够帮助我们执行必要的操作，以获得最小可行的、安全的集群，并以用户友好的方式运行。

2024-02-24 11:45:00 265

原创 Apache Flink连载（三十三）：Flink基于Kubernetes部署(3)-Kubernetes 核心概念

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~Kubernetes中有非常多的核心概念，下面主要介绍Kubernetes集群中常见的一些概念。

2024-02-23 11:45:00 236

原创 Apache Flink连载（三十二）：Flink基于Kubernetes部署(2)-Kubernetes集群架构及组件

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~一个Kubernetes集群至少有一个主控制平面节点（Control Plane）和一台或者多台工作节点（Node）组成，控制面板和工作节点实例可以是物理设备或云中的实例。

2024-02-22 11:45:00 245

原创 Apache Flink连载（三十一）：Flink基于Kubernetes部署(1)-Kubernetes介绍

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~Kubernetes是Google公司在2014年6月开源的一个容器集群管理系统，使用Go语言开发，也叫K8S（k8s 这个缩写是因为k和s之间有八个字符的关系）。Kubernetes这个名字源于希腊语，意为“舵手”或“飞行员”。Kubernetes的目标是让部署容器化的应用简单并且高效,提供应用部署，维护，规划，更新。Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行，让用户能够方便的部署自己的应用。

2024-02-21 11:45:00 215

原创 Apache Flink连载（三十）：Flink 内存模型

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~在大数据中所有开源计算框架都会使用到JVM ，例如：MapReduce、Storm、Spark等，这些计算框架在处理数据过程中涉及到将大量数据存储在内存中，此时如果内存管理过渡依赖JVM，就会出现java对象存储密度低导致内存使用率低以及垃圾回收导致系统不稳定问题，这极大影响了系统的性能和稳定性。

2024-02-20 11:45:00 240

原创 Apache Flink连载（二十九）：Flink细粒度资源管理（2）-用法、测试及局限性

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

2024-02-19 11:45:00 244

原创 Apache Flink连载（二十八）：Flink细粒度资源管理（1）-适用场景和原理

Apache Flink 在1.14版本之前使用的是粗粒度资源管理方式，每个算子Slot Request 所需要的资源都是未知的，在Flink源码内部使用UNKNOWN的特殊值来表示，这个值可以和任意资源规格的物理Slot进行匹配，站在TaskManager的角度来说，它拥有的Slot个数与Slot资源是根据Flink的配置来决定。

2024-02-18 20:51:03 658

原创 Apache Flink连载（二十七）：TaskSlot任务槽-（2）-SSG测试与均匀分配TaskSlot

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

2024-01-29 11:45:00 293

原创 Apache Flink连载（二十六）：TaskSlot任务槽-（1）-TaskSlot&SlotSharingGroup

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~提交到集群中的Flink程序最终会转换成一个个的Subtask，Subtask是Flink任务调度的基本单元，这些task最终被发送到不同的TaskManager节点上分布式执行，假设现在我们有一个TaskManager，一个Flink 任务有多个Subtask，这些Subtask能否正常在该TaskManager上启动？到底一个TaskManager上能同时执行多少个Subtask?

2024-01-27 11:45:00 270

原创 Apache Flink连载（二十五）：Flink执行图

Flink代码提交到集群执行时最终会被转换成task分布式的在各个节点上运行，在前面我们学习到DataFlow数据流图，DataFlow是一个Flink应用程序执行的高级视图，展示了Flink应用程序执行的总体流程，在Flink底层由DataFlow最终转换成执行的task的过程还涉及一些对象转换。下图以一个普通的Flink处理数据流程展示了一个Flink任务提交到集群后内部对象转换关系和流程，其中每个虚线框代表一个task，p代表并行度，这里假设为2。🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

2024-01-26 11:45:00 223

原创 Apache Flink连载（二十四）：Apache Flink术语

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~Flink计算框架可以处理批数据也可以处理流式数据，Flink将批处理看成是流处理的一个特例，认为数据原本产生就是实时的数据流，这种数据叫做无界流（unbounded stream），无界流是持续不断的产生没有边界，批数据只是无界流中的一部分叫做有界流（bounded stream），针对无界流数据处理叫做实时处理,这种程序一般是7*24不间断运行的；针对有界流数据处理叫做批处理，这种程序处理完当前批数据就停止。

2024-01-25 11:45:00 317

原创 Apache Doris (七十）： Doris优化

Doris中的优化涉及到的方面非常多，例如在分区、分桶、join、查询、参数等各个方面都有优化对应策略，具体可以参考前面每个部分内容，这里大体总结下Doris中的优化相关内容：

2024-01-24 11:45:00 768

原创 Apache Doris (六十九）：JDBC Catalog

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~JDBC Catalog 通过标准 JDBC 协议，连接其他数据源。连接后，Doris 会自动同步数据源下的 Database 和 Table 的元数据，以便快速访问这些外部数据，数据不会同步到Doris中，Doris只是通过JDBC方式来访问外部数据库中的数据。目前Catalog支持MySQL、PostgreSQL、Oracle、SQLServer、Clickhouse、Doris。

2024-01-23 22:09:17 729

原创 Apache Doris (六十八）： DataX DorisWriter - （2） - Doris参数介绍

目录编辑1. DorisWriter参数介绍2. DataX同步MySQL数据到Doris关于DorisWriter插件的介绍可以参考：https://github.com/apache/doris/blob/master/extension/DataX/doriswriter/doc/doriswriter.md，DorisWriter支持将大批量数据写入Doris中。DorisWriter 通过Doris原生支持Stream load方式导入数据， DorisWriter会将reader读取的数据进行

2024-01-22 11:45:00 356

原创 Apache Doris (六十七）： DataX DorisWriter - （1） - 源码编译及集成

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~DataX 是阿里云 DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

2024-01-20 11:45:00 225

原创 Apache Doris (六十六）： Flink Doris Connector - (3)-配置及类型映射

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

2024-01-19 11:45:00 220

原创 Apache Doris (六十五）： Flink Doris Connector - (2)-使用

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~Flink操作Doris有两种方式，一个是DataStream方式，另外一种就是SQL方式操作，这两种方式官方建议使用SQL方式进行编程，相对比较简单。通过Flink Doris Connector可以通过Flink读取Doris中的数据，

2024-01-18 11:45:00 149

原创 Apache Doris (六十四）： Flink Doris Connector - (1)-源码编译

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~Flink Doris Connector 可以支持通过 Flink 操作（读取、插入、修改、删除） Doris 中存储的数据。通过Flink Doris Connector 可以将Doris表映射为DataStream或者Table对象，此外，修改和删除只支持在 Unique Key 模型上,目前的删除是支持 Flink CDC 的方式接入数据实现自动删除，如果是其他数据接入的方式删除需要自己实现。

2024-01-17 22:45:56 470

原创 AI-图片转换绚丽动漫人物-UGATIT

在“J:\UGATIT-master”目录下创建目录“dataset”目录，在“dataset”目录下创建“selfie2anime”目录，在“selfie2anime”目录下创建“testA”,“testB”目录，“testA”目录存放需要转换成动漫的人脸，“testB”下存放需要转换成人脸的动漫脸。🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客。🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频。

2024-01-14 11:45:00 601

window10 bthserv服务注册表文件

clickhouse 熔断机制配置文件

大数据安全-kerberos技术-openssl安装包，openssl版本：openssl-1.1.1k.tar.gz

大数据安全-kerberos技术-kafka安装包，kafka版本：kafka-2.12-3.3.1.tgz

大数据安全-kerberos技术-hbase安装包，hbase版本：hbase-2.2.6-bin.tar.gz

大数据安全-kerberos技术-hive安装包，hive版本：apache-hive-3.1.3-bin.tar.gz

大数据安全-kerberos技术-hadoop安装包，hadoop版本：hadoop-3.3.4.tar.gz

大数据安全-kerberos技术-zookeeper安装包

winutils-master.zip

空空如也