- 博客(92)
- 资源 (29)
- 收藏
- 关注
RSS订阅原创 k8s学习（RKE+k8s+rancher2.x）成长系列之简配版环境搭建（四）之Helm及cert-manager安装
【代码】k8s学习（RKE+k8s+rancher2.x）成长系列之简配版环境搭建（四）之Helm及cert-manager安装。
2024-02-20 11:08:35
586
原创 k8s学习（RKE+k8s+rancher2.x）成长系列之简配版环境搭建（三）
为了方便理解，我们把通RKE部署的Kubernetes集群称为“RKE集群”，RKE集群包括Rancher在Windows节点或其他现有自定义节点上启动的集群，以及Rancher在Azure、Digital Ocean、EC2、阿里云或vSphere等上使用新节点启动的集群。另一种是手动生成式搭建，这里我选择手动生成式搭建，是为了更充分的理解每一行标识的意义，学习理解的更透彻。搭建RKE集群有两种方式，一种是yaml文件的声明是搭建，参考。
2024-02-19 17:05:17
569
原创 k8s学习（RKE+k8s+rancher2.x）成长系列之简配版环境搭建（二）
k8s学习（RKE+k8s+rancher2.x）成长系列之简配版环境搭建(二)
2024-02-05 17:40:03
727
原创 k8s学习（RKE+k8s+rancher2.x）成长系列之概念介绍（一）
本系列主要是RKE拉起高可用k8s环境并部署HA的Rancher2.x的实战操作教学文章
2024-01-25 14:10:54
653
原创 记一次Hbase2.1.x历史数据数据迁移方案
cdh6.3.2集群的hbase2.1.x的历史数据迁移，使用snapshot方式迁移历史数据，使用restore_snapshot方式恢复hbase历史表及数据
2023-10-13 11:20:26
1199
原创 记一次生产环境cdh6.3.2集群yarn组件nodemanager节点down掉的事故分析
cdh6.3.2集群yarn组件的nodemanager不可用原因分析
2023-10-08 10:24:12
555
原创 python使用scrapy框架引入模块的报错解决办法-关于运行SCRAPY项目时提示 MODULENOTFOUNDERROR: NO MODULE NAMED的解决
以上是pycharm自动填充的，相对路径没有问题，是从项目根目录开始的，然鹅，执行项目就报错------>ModuleNotFoundError: No module named ‘scrapy项目名.scrapy项目名’运行SCRAPY项目时提示 MODULENOTFOUNDERROR: NO MODULE NAMED。items import item类名。
2023-09-20 09:39:08
972
原创 flink1.13.2版本的对应的hive的Hcatalog的使用记录
【代码】flink1.13.2版本的对应的hive的Hcatalog的使用记录。
2023-09-18 14:31:31
330
原创 Hive中count(1)结果为0的解决办法
执行count(1)或count(*)统计行数时，默认会从Hive的元数据库中查询 rowsNum 对应值作为结果返回。但是如果是使用加载数据文件load data的方式填充表数据，则hive元数据不会收集此统计信息,那么count时就会为0。也就是说通过insert的方式写入数据的表会更新hive元数据的rowsNum信息；第二种 对于类似于count(1)的基础查询不使用元数据中的统计信息，而是执行Job，即设置参数值为false。hive中执行count(1)函数，统计结果为0。
2023-08-24 17:02:00
1324
原创 cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法
第一个参数代表是否在一个节点分配多个container，第二个参数代表在一个节点上一次性最多分配几个container。CDH6.3.0中第一个参数默认为true，则意味着会在一个节点上分配多个container，则会有多个taskmanager。第二个参数默认为-1，则意味着不限制，则会一次性分配较多container。
2023-08-18 15:52:26
894
原创 HIVE3.1.2外部表映射hdfs的ORC文件，列值为空的问题解决办法
HIVE3.1.2外部表映射hdfs的ORC文件，列值为空的问题解决办法。因为ORC的schema列名包含大写字母，导致列值被置为空。增加大写字母敏感属性值为false即可。或者创建表的时候指定该属性值。
2023-06-13 11:15:38
430
原创 手动上传海豚调度器资源中心的文件，解决dolphinscheduler资源中心上传大一点jar包的bug问题
手动上传海豚调度器资源中心的文件，解决dolphinscheduler资源中心上传大一点jar包的bug问题
2023-06-02 15:18:09
2026
原创 公司大数据CDH技术选型升级为EMR集群的技术调研
公司大数据CDH技术选型升级为EMR集群的技术调研；开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、StarRocks、Flink、Presto、ClickHouse等开源大数据计算和存储引擎。EMR计算资源支持灵活的弹性控制。
2023-05-15 13:37:34
683
原创 flink1.13.2的大数据ELK日志系统使用手册
flink1.13.2的大数据ELK日志系统使用手册。增加了 -yD env.java.opts=“-Dflink_job_name=DemoTask” 这个传参，其中DemoTask为任务名称，视具体任务而变;如果使用jenkins发布任务的话，注意参数特殊字符转义。1.1.3. 现jenkins发布命令。 根据错误日志内容查。
2023-05-09 10:18:54
216
原创 flink1.13.2的log4j日志打印添加任务名和容器id的解决办法
【代码】flink1.13.2的log4j日志打印添加任务名和容器id的解决办法。
2023-05-09 10:07:03
576
原创 Dolphinscheduler3.0.0使用（三）spark任务的工作流使用
Dolphinscheduler3.0.0使用（三）spark任务的工作流使用 1.11. 创建spark任务工作流定义。1.13. 查看spark工作流任务日志。1.12. Spark工作流上线运行。
2023-04-26 18:22:11
1392
15
原创 Dolphinscheduler3.0.0使用（二）hive（HQL）的工作流使用
Dolphinscheduler3.0.0使用（二）hive（HQL）的工作流使用 1.10. 查看hive工作流任务实例日志。1.8. 创建hive工作流定义。1.9. Hive工作流上线运行。
2023-04-25 11:30:30
1492
原创 Dolphinscheduler3.0.0使用（一）
1.7. 创建资源文件夹（资源保存到hdfs上，配置文件中配置的）Dolphinscheduler3.0.0使用。1.5. 赋值admin账号root租户角色。1.4. 添加hive数据源。根据yarn队列资源创建。
2023-04-24 09:51:00
1282
原创 centos7.6非默认端口的ssh免密登录（centos7.6指定端口的ssh免密登录）
centos7.6非默认端口的ssh免密登录（centos7.6指定端口的ssh免密登录）,1.6. 各节点相互拷贝公钥内容至authorized_keys目录中。1.3. 创建用户ds(可选，这里以ds用户做免密为示例)1.7. 使用非默认端口免密登录（带登录日志查看）authorized_keys文件权限为600。1.4. 查看ds用户(可选)1.2. 重启sshd服务。1.5. 创建公钥、私钥。.ssh目录权限为700。
2023-04-20 11:54:12
584
原创 doris学习之路（一）初识Doris
Apache Doris 是一个基于MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
2023-04-19 21:17:48
547
原创 centos7.6部署ELK集群（三）之logstash7.7.0部署
centos7.6部署ELK集群（三）之logstash7.7.0部署,logstash开机启动设置
2023-04-18 17:06:12
631
3
原创 centos7.6部署ELK集群（二）之kibana7.7.0集群部署
centos7.6部署ELK集群（二）之kibana7.7.0集群部署,kibana设置开机启动
2023-04-18 10:38:24
229
原创 centos7.6部署ELK集群（一）之elasticsearch7.7.0集群部署
centos7.6部署ELK集群（一）之elasticsearch7.7.0集群部署
2023-04-17 16:45:50
558
原创 CDH6.3.2大数据集群生产环境安装(九)之部署flink1.13.2客户端
CDH6.3.2大数据集群生产环境安装(九)之部署flink1.13.2客户端
2023-04-13 13:52:08
712
原创 CDH6.3.2解决yarn historyServer页面为空，登录用户为Logged in as: dr.who的问题
Logged in as: dr.who，yarn,jobHistory,CDH6.3.2
2023-04-12 18:38:49
410
原创 CDH6.3.2大数据集群生产环境安装(八)之各组件参数调优，yarn参数调优，hdfs参数调优等
CDH6.3.2大数据集群生产环境安装(八)之各组件参数调优，yarn参数调优，hdfs参数调优等
2023-04-11 11:13:37
443
1
操作系统避免死锁的银行家算法
2011-11-25
数据库实验4
2011-11-24
计算器程序设计
2011-11-24
centos7.8支持的rke1.3.6的安装文件rke-linux-amd64
2024-02-05
FLINK-1.13.2-BIN-SCALA-2.11.tar
2023-09-28
flink-on-yarn-1.13.2.jar
2023-09-28
flink开发落到hdfs文件处于in-progress状态文件处理办法
2022-10-31
mybatis反向生成代码工具（包含service,serviceImpl,dao,entity,daoImpl）
2017-12-22
oracle 监听文件和本地域名的详细解释说明及安装步骤
2014-03-11
Phoenix之全局索引（Global Index）使用
2023-05-05
TA创建的收藏夹 TA关注的收藏夹
TA关注的人