- 博客(252)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 CentOs6 Yum 源失效 404
今天下午想装点东西。。 突然发现所有的6 yum源都失效了YumRepo Error: All mirror URLs are not using ftp, http[s] or file.Eg. Invalid release/repo/arch combination/removing mirrorlist with no valid mirrors: /var/cache/yum/x86_64/6/base/mirrorlist.txtError: Cannot find a valid..
2020-12-03 16:17:36
16233
53
原创 解决linux centos ubuntu等无法启动谷歌chrome浏览器问题
如果还是不行，那对google-chrome-stable文件最后一行代码追加--no-sandbox。发现目录下有 google-chrome google-chrome-stable。#然后对文件最下面代码追加上 --no-sandbox。这时候，点击chrome图标可以启动了。
2025-03-28 17:28:23
312
原创 ubuntu24 部署vnc server 使用VNC Viewer连接
已创建一台Ubuntu 20.04操作系统的云服务器，并且为云服务器绑定弹性公网IP，确保可以连接互联网。已在本地PC安装VNC Viewer客户端。
2025-03-26 12:51:15
563
原创 Ubuntu 24使用systemctl配置service自动重启
总体流程和互联网上差不多 ，但是Ubuntu 24的 system配置文件位于 /usr/lib/systemd/system/网上的文章还停留在/etc/下 让我一顿好找。然后执行下面的命令让服务生效。
2024-12-25 11:25:49
603
原创 解决secureCRT vi/vim中粘贴时行首出现很多缩进和空格的问题
注意: 打开 'paste' 选项时如果开始编辑别的文件，模式行或自动命令可能会再次改变这些设置，从而在粘贴文本时造成麻烦。因为 'paste' 激活时不能用映射，'pastetoggle' 选项可以用来指定切换 'paste' 选项的热键。在 GUI 里置位 'paste' 有副作用: 例如，Paste 工具栏按钮在插入模式下不能工作，因为它使用了映射。'paste' 选项复位时，上面提到的选项被复原为上次 'paste' 从关到开时的设置。置位 'paste' 之前复位 'paste' 没有任何效果。
2024-10-08 17:47:04
532
原创 Sentry运维中遇到的问题
1.会员邀请电子邮件链接马上就过期，再次发送仍然过期。This organization invite link is no longer valid.用无痕模式或者换个浏览器。或者直接复制链接去别的浏览器打开 ，然后在页面上选择注册按钮完成注册。
2024-10-08 11:48:34
236
原创 安装 _MySQL-python-1.2.5.zip mysql.c:44:10: fatal error: my_config.h: No such file or directory
【代码】安装 _MySQL-python-1.2.5.zip mysql.c:44:10: fatal error: my_config.h: No such file or directory。
2024-09-29 11:22:02
161
原创 prometheus监控k8s1.24以上版本pod实时数据指标
cAdvisor 自动查找所有在其所在节点上的容器，自动采集 CPU、内存、文件系统和网络使用的统计信息。其中token项的值就是prometheus需要用到的token信息，复制到prometheus服务器的一个文件中，这里保存文件为/usr/local/prometheus/cert/token。通过kubelet可以获取POD的一些基本的资源使用情况，而apiserver获取的是集群的一些信息，不是特殊情况下使用很少，所以这里只做简单配置。其中Tokens的值就是secrets的信息。
2024-09-09 10:51:11
1135
原创 prometheus 运维中遇到的问题
请求接口后返回 Lifecycle API is not enabled. 那么就是启动的时候没有开启热更新配置，需要在启动的命令行增加参数： --web.enable-lifecycle。如果已经把promtheus配置到了Linux系统服务系统里面，需要到systemd的system文件夹下修改promtheus对应的.service文件。prometheus启动后修改配置文件就需要再重启生效。可以通过以下方式 热加载。
2024-08-28 15:33:18
642
原创 consul 运维中遇到的问题
出现这个问题的原因是，有多张网卡，所以就有了多个ip4的地址，解决方案，就是绑定ip地址到局域网卡，加上 -bind 192.168.xxx.xxx 参数即可。
2024-08-27 21:03:28
535
原创 nexus运维中遇到的问题
nexus配置了https并关闭了匿名访问，登录nexus后台，找到该用户所对应的角色，编辑权限，找到对应的maven仓库，把除了含有admin的权限以外的其他view-仓库名的权限都勾上以后点击保存按钮，再次尝试推送jar到仓库成功。1、修改nginx的client_max_body_size的值为100m，可以在http{ }或者server{ }或者location{ }中设置，不同的位置作用域不同。2、nexus使用nginx做了反向代理，nginx默认的请求包大小为1M。
2024-08-06 11:43:59
3339
原创 Sentry23.12版本私有化部署的内存和存储优化
在官方的介绍与文档里面对sentry进行了详细的介绍，以及教大家如何进行私有化部署。但是在部署后会出现什么问题，在安装之前与安装之后我们可以通过什么方式进行优化？通过项目的实际使用所遇到的问题：1.磁盘空间占用大2.内存出现爆满通过在安装之前与安装之后进行优化配置，避免服务出现以上两点问题。
2024-08-02 11:35:04
1014
2
原创 K8S运维中遇到的问题
出现这种情况是kube-controller-manager.yaml和kube-scheduler.yaml设置的默认端口是0，在文件中注释掉就可以了。（每台master节点都要执行操作）1.修改每台 master 节点kube-scheduler.yaml文件。然后systemctl restart kubelet.service。kube-controller-manager 同理。
2024-05-20 11:13:25
420
1
原创 kibana8.10.4简单使用
点击stack management 选择kibana里的数据视图，右上角创建数据视图，输入名称。在Management下面的stack management ，安全子菜单有用户和角色点击角色。然后在策略的右边选择你要连接到的模板，使这个策略连接到模板所对应的index。点击右上角的 显示保留角色 ，不显示那些保留角色。选择数据中的索引管理，选择索引模板 点击创建模板。选择删除阶段，右边选择多久之前的会移动到删除阶段。选择工作区，有就选，没有就默认，选择权限。输入你要定义的索引的行为，比如。
2023-11-17 17:12:59
1192
原创 Elastic stack8.10.4搭建、启用安全认证，启用https，TLS，SSL 安全配置详解
ELK大家应该很了解了，废话不多说开始部署kafka在其中作为消息队列解耦和让logstash高可用kafka和zk 的安装可以参考这篇文章。
2023-11-14 16:17:20
4351
7
原创 深入理解Kafka3.6.0的核心概念，搭建与使用
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，kafka部署包“kafka_2.13-3.6.0”前面的2.13就是scala的版本。
2023-11-13 16:33:52
2520
原创 Centos 7rc.local脚本命令开机不执行及指定用户启动的方法
注意此处，是/etc/rc.d/rc.local，而不是/etc/rc.local，如果给/etc/rc.local执行权限是无效的，因为/etc/rc.local是软链接，真正的文件是/etc/rc.d/rc.local。注意：编辑完rc.local文件后，一定要给rc.local文件执行权限，否则开机时不会执行rc.local文件中脚本命令。配置在/etc/rc.local文件中。注意：指定用户执行的脚本（程序）目录，该用户必须有管理该脚本（程序）目录（文件）的权限。
2023-11-13 10:35:18
2271
原创 atlas运维中遇到的问题
下载这个jar包放到/opt/cloudera/parcels/CDH/lib/hive/lib下。导入hive数据时需要支持正则表达式的字段分隔方式，CDH的hive遇到此问题也可以相同处理 ，不用配置什么aux_java。这两个报错都不重要，第一个是搜索的一个提示，第二个是官方的一个小bug ，官方解释是。包中的core包，其中有Link类，所以调用脚本导入数据时会报以下错误。类，而Atlas以HBase作为元数据存储，HBase本身使用的为。解决方式：编译前修改次级pom。
2023-10-16 17:31:46
542
原创 搭建Atlas2.2.0 集成CDH6.3.2 生产环境+kerberos
首先确保环境的干净，如果之前有安装过清理掉相关残留确保安装atlas的服务器有足够的内存（至少16G），有必要的hadoop角色准备编译环境mvn3.8.8 必须3.8以上的版本 3.6无法编译java 1.8.0_181 跟你的CDH环境保持一致下载和解压缩源代码该项目的网站可以在这里找到查找并下载 Apache Atlas更改pom.xml在主pom（就是文件夹打开第一个）添加一个包含 maven 工件的 clouder 存储库然后修改对应的cdh组件版本然后修改一些jar包的版本。
2023-10-16 17:27:30
1041
5
原创 元数据管理平台Datahub0.10.5版本安装部署与导入各种元数据手册
官网文档连接本文所选择的Python的版本为3.8.16，Docker版本为20.10.0，Datahub为0.10.5版本python必须为3.7以上的版本。0.10.5不支持以下的版本。
2023-09-14 11:29:43
1035
原创 python报错：ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1
如果你已经安装了新版本的OpenSSL，并且希望指定Python解释器链接到该新版本的OpenSSL，而不重新编译Python，可以通过设置环境变量LD_LIBRARY_PATH（Linux）或DYLD_LIBRARY_PATH（macOS），将新版本的OpenSSL库路径添加到Python解释器的运行环境中。如果你已经确认系统中的OpenSSL显示为新版本，但Python仍然使用旧版本，可能是因为Python解释器没有正确链接到新版本的OpenSSL。这可以确保Python使用新版本的OpenSSL库。
2023-09-08 11:44:47
4107
原创 Hbase2 基于hdfs恢复数据及迁移
多个命名空间，建议多次执行。hbase hbck -j /root/hbase-operator-tools-1.2.0/hbase-hbck2/hbase-hbck2-1.2.0.jar assigns -i /root/0903rit //这里是引用的文件，可以选择单个rit。hdfs dfs -mv /hbase/data_1 /hbase/data //重命名回去，可以根据实际情况，仅复制部分数据。hdfs dfs -mv /hbase/data /hbase/data_1 //重命名。
2023-07-13 16:34:10
1680
原创 impala远程连接失败排查
周一开发反馈在本地电脑上连接impala失败，怀疑是服务问题。测试后发现服务正常，故障也恢复了，就没追究，第二天又出现相似的故障。网络负载也不是很高，搁置了一会之后再次恢复正常。所以登录失败也没管，定时任务挂了就挂在那。于是在本地测试 ，发现确实连不上了，但是之前密码是正确的，手动登陆了一下kerberos账户。应该就是这里刷的密码错误次数，就是这个172.20.15.163搞的。getprinc 用户名 ，查看用户数据密码错误次数是否超过5次，如果是，证明账户被锁。这个报错是账户被锁的。
2023-06-26 15:50:03
1095
原创 impala 查询资源消耗计算
有不对的请大佬们指出。Number of backeds： 查询所使用的实例数。首先去到cdh 的impala查询页面。每个节点的内存使用峰值：乘以实例数就是本次查询使用的内存。HDFS扫描仪平均读取吞吐量： hdfs的io速度。CPU使用量应该是线程：CPU时间除以持续时间。持续时间： 字面意思查询的持续时间。读取的HDFS字节数：字面意思。
2023-06-16 15:43:06
424
原创 hive任务reduce步骤卡在99%原因及解决
我们在写sql的时候经常发现读取数据不多，但是代码运行时间异常长的情况，这通常是发生了数据倾斜现象。数据倾斜现象本质上是因为数据中的key分布不均匀，大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，从而拉慢了整个计算过程速度。本文将介绍如何通过日志分析，判断数据中的哪个key分布不均，从而导致了数据倾斜问题。
2023-06-01 11:48:24
3608
原创 原生apache hadoop3.3.1集群安装配置Kerberos
安装kerberos可以看一下我另外一篇。下面直接开始配置hadoop部署好了kerberos之后，首先添加用户和生成认证文件在KDC中添加需要认证的用户具体用户看情况而定(hadoop集群主要由hdfs管理，所以除了建hdfs账户还有HTTP账户，另外还有hive、hbase、dwetl也会访问hadoop集群。如有别的用户可用这种方式另行添加，如下图：格式为：用户名/主机hostname@HADOOP.COM。
2023-05-25 18:09:33
1813
原创 hbase查询报错unable to find region for
首先需要安装hbck工具 自带那个只能看不能操作 ，hbase2已经废弃了hbck这个组件，HBCK2已经被剥离出HBase成为了一个单独的项目，如果你想要使用这个工具，需要根据自己HBase的版本，编译源码。打包完成后，是有多个jar包的，将自己需要的hbck2取出来hbase-operator-tools/hbase-hbck2/target/hbase-hbck2-1.0.0-SNAPSHOT.jar。但是因为没有hole了 决定再次get测试一下，果断的返回了一个正常找不到rowkey的空返回。
2023-05-06 17:14:18
922
原创 如何对HDFS进行节点内(磁盘间)数据平衡
特别是这种情况：当DataNode原来是挂载了几个数据盘，当磁盘占用率很高之后，再挂载新的数据盘。由于Hadoop 2.x 版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。2.使用系统的hdfs.keytab进行认证，一般在/var/run/cloudera-scm-agent/process/1952-hdfs-JOURNALNODE 目录下等，或者自己生成 ，首选CDH系统自动生成的keytab，自己生成的不一定能用。2.挂载数据盘的磁盘间数据不均衡。
2023-04-19 14:51:51
1819
原创 BUILD FAILURE - conjars.org: Connection timed out
看官网老的地址废弃了应该。在setting.xml。
2023-04-11 16:39:32
867
3
原创 ES5节点假死，内核日志报INFO: task blocked for more than 120 seconds.
es集群里有一台机器，突然cpu load飙到 21左右（8core cpu），但是cpu使用率会变成0，且同时io 等使用率全部变为0.这种状态不可以自己恢复，除非重启。es没有判断出节点有问题，整个集群不可以访问，所有操作都超时，包括cat集群信息等接口，直到重启机器。这种情况下节点已经死了，但是节点还能够响应其master发出的transport ping消息，master不会将其从集群摘除。网上搜索一下资料，有两种场景。看一下关闭NUMA是否能解决你的问题，如果不行的化，再考虑是否是xfs的问题。
2023-03-09 15:50:22
2329
2
原创 flink-sql-1.15.4配置hive catalog和hbase基于CDH6.3.2和kerberos
使用flink源码重新编译生成flink-sql-connector-hive-2.2.0_2.11，编译之前需要修改flink-sql-connector-hive-2.2.0中的pom文件，将hive-exec的版本改成2.1.1-cdh6.3.2。位置在flink-connectors/flink-sql-connector-hive-2.2.0/flink-sql-connector-hive-2.2.0_2.12-1.15.3.jar。有大佬能解决望赐教。java 我的版本和cdh使用的一致。
2023-02-02 15:56:23
1509
11
原创 kerberos环境下parcel方式部署flink1.15.3 基于CDH6.3.2 Flink on Yarn
使用时先启动yarn-session，然后再提交job，每次提交job，也都会分配一个JobManager。Application模式：简答的说就是直接run job，每次提交的任务Yarn都会分配一个JobManager，执行完之后整个资源会释放，包括JobManager和TaskManager。如果没有看到flink的组件，可以通过重启一下cdh，我之前就试过，flink分配、激活成功后，没有看见flink组件的图标，可以通过重启CDH服务，Session模式适合比较小的任务、执行时间比较短的任务。
2023-01-31 15:03:24
2035
2
原创 CDH6.3生产环境中禁用Kerberos
修改了网上相关文档的一些缺陷，在生产环境中实际使用过通过CM停止集群的所有服务服务停止成功修改Zookeeper的enableSecurity为false（取消勾选）将这项配置取消勾选修改HDFS配置修改Hadoop的安全身份验证第一个选为simple，第二个取消勾选修改DataNode的数据目录权限为755改DataNode服务的端口号，分别修改为50010和50075进入HBase服务修改配置修改HBase的身份验证第一个修改为simple，第二个取消勾选，第三个修改为none4。
2023-01-16 17:39:40
1214
原创 kerberos环境下Flink on Yarn集群部署 基于flink1.15.3 hadoop 3.0CDH6.3.2
Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。
2022-12-09 15:15:47
2332
4
libonig.so.2.0.0
2020-09-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人