- 博客(62)
- 收藏
- 关注
RSS订阅原创 kafka k8s部署kafka connect(以kafka-connector-hana插件为例)
【代码】kafka k8s部署kafka connect(以kafka-connector-hana插件为例)
2023-04-19 17:32:37
840
原创 迁移rancher安装k8s节点的默认位置/var/lib/rancher和/var/lib/kubelet
日志错误 F0228 05:53:52.947552 7 main.go:67] port 80 is already in use. Please check the flag --http-port 提示80端口被占用，服务器未发现有80端口进程，判断可能是权限导致的问题。重新复制，将cp -r 改为 cp -a 命令，保留文件权限，重启后问题消失，使用正常。碰到的问题： 一开始使用cp -r 复制文件，迁移后出现 rke2-ingress-nginx-controller 启动失败。
2023-02-28 15:21:00
721
原创 kubernetes部署ftp（支持主动与被动模式）
简单来说对于FTP被动模式来说，除了需要默认的21端口用于客户端登录，还需要一个随机端口（1024以上）用于读取数据。而我们可以通过配置随机端口的范围，明确需要映射哪些端口。一种解决方案是修改客户端连接配置，将连接模式改为主动模式。但是有些客户端不方便修改，还是需要调整为支持被动模式。在docker部署ftp没问题，但是按常规步骤部署到k8s后出现连接问题。
2022-09-22 15:41:26
3376
6
原创 MySQLTuner-perl 安装使用(mysql性能调优工具)
生成的报告文件中会有涉及的检查项以及建议。此报告只是一般性建议，每个环境和需求场景都不一样，必须理解每一项含义以及修改后果后，再决定是否更改配置。2.2 因为元数据统计会影响数据库和MySQLTuner 的性能。官方建议禁用innodb_stats_on_metadata.2.1 如果是mysql5.6 和 MariaDB 10.x 需要额外配置，请参考官方文档。] 开头的为建议调整项，报告结尾也会有综合性建议。下载官方github存储库。
2022-09-05 17:34:36
1080
原创 azkaban集成ldap管理用户
azkaban可以自定义类UserManager来管理用户。官方文档：custom-usermanagergithub已经有项目实现了与ldap集成了，所以这里只需要配置使用即可，也可以根据自己的需求去调整或重写代码。azkaban-ldap-usermanager项目地址下载插件jar包wget https://github.com/researchgate/azkaban-ldap-usermanager/releases/download/1.2.0/azkaban-ldap-userman
2022-05-09 19:26:06
507
1
原创 datahub添加mysql/hive数据源
一、如果没有安装过datahub的mysql插件，先安装(mysql源官方文档)pip3 install 'acryl-datahub[mysql]'二、使用ui Ingestion可以先配置变量，加密账号密码，避免配置文件中明文存储2.1 访问localhost:9002/ingestion,点击创建新的数据源2.2 选择数据源2.3. 修改配置文件内容2.4 设置定时调度刷新元数据2.5 设置当前数据源名称完成后刷新页面，可以看到刚刚设置的数据源，可以点击执行一次第一
2022-05-01 11:12:56
2261
2
原创 datahub安装（基于docker）
官方文档地址基于centos7环境一、安装所需依赖1.1 安装docker1.2 安装jq(官方文档地址)wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpmrpm -ivh epel-release-latest-7.noarch.rpmyum install -y jq1.3 安装docker compose(官方文档地址)# 下载curl -SL https://github.com/
2022-04-29 14:04:10
3723
3
原创 linux(centos7) 安装python3
1.安装依赖包yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel -y2.官网下载源码wget https://www.python.org/ftp/python/3.7.12/Python-3.7.12.tgz3.解压编译tar -zxvf Python-3.7.0.tgzcd Python-3.7
2022-04-28 16:57:04
2201
原创 linux(centos7) 安装 docker
安装依赖项sudo yum install -y yum-utils device-mapper-persistent-data lvm2添加软件源信息并更新缓存sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.reposudo yum makecache fast安装docker-ce# 查看可用版本sudo yum list docke.
2022-04-28 16:48:05
1168
原创 kettle on docker
一、制作kettle镜像服务器已部署kettle，现需要将部署方式变更为docker部署。基于kettle8.3。因为本地已经安装过kettle，并且使用的为文件资源库，所以这里配置文件及资源库采用映射1.1 安装docker（略）1.2 拉取centos镜像docker pull centos1.3 启动镜像，配置KETTLE# 启动centos镜像docker run -d -it centos /bin/bash# 进入镜像docker exec -it [容器ID] bash
2022-03-23 17:32:18
2868
原创 linux基础-生成https/ssl证书
linux基础-生成https/ssl证书mkdir -p /data/certcd /data/cert# 输入密码 生成server.key文件openssl genrsa -des3 -out server.key 2048# 生成csr文件openssl req -new -key server.key -out server.csrcp server.key server.key.orgopenssl rsa -in server.key.org -out server
2022-01-24 14:20:19
1119
原创 k8s-02. 私有仓库配置harbor
k8s-02. 私有仓库配置个人学习安装笔记内容来自视频教程尚硅谷k8s教程3-5生成https证书，供后续使用mkdir -p /data/certcd /data/certopenssl genrsa -des3 -out server.key 2048openssl req -new -key server.key -out server.csrcp server.key server.key.orgopenssl rsa -in server.key.org -out se
2021-12-22 09:26:18
315
原创 k8s-01. k8s 集群安装
k8s-01. k8s集群安装个人安装笔记，详细可参考官方文档推荐视频教程尚硅谷k8s教程1. 安装环境准备（所有节点）准备了三台测试服务器，centos71.1 修改服务器主机名vi /etc/hostname# 三台改名为node153, node154, node1551.2 配置hostsvi /etc/hostsxx.xx.xx.154 node154xx.xx.xx.155 node155xx.xx.xx.156 node1561.3 安装依赖包yum inst
2021-12-18 16:58:44
5224
原创 mapreduce2开启https/SSL
参考文档首先需要开启HDFS的https(enable HTTPS for HDFS)配置mapred-site.xml属性 “Custom mapred-site”mapreduce.jobhistory.http.policy=HTTPS_ONLYmapreduce.jobhistory.webapp.https.address=<JHS>:<JHS_HTTPS_PORT> mapreduce.ssl.enabled=truemapreduce.shuffle.s
2021-10-25 17:57:48
191
原创 ranger和rangerkms开启https（配置ssl）
ranger配置准备好jks秘钥文件和密码，以及文件别名修改配置文件# ranger settingsranger.service.http.enabled=falsepolicymgr_external_url=https://RANGER_HOST:6182# ranger-admin-siteranger.service.https.attrib.ssl.enabled = true ranger.service.https.attrib.keystore.keyalias =
2021-10-23 14:07:54
1955
原创 hiveserver2 开启 ssl
配置 hive-site.xml：hive.server2.use.SSL - 将其设置为true。hive.server2.keystore.path - 设置密钥路径。hive.server2.keystore.password - 设置密码。
2021-10-21 11:55:03
1819
原创 基于ambari-AMS开启高可用（HA）
官方文档地址将Metrics模式改为distributed在管理页面选择作为备机的hosts选择备机节点后，点击ADD=》 Metrics Collector启动备机新安装的Metrics查看是否成功两个METRICS COLLECTOR 正常启动
2021-10-20 16:15:52
439
原创 presto分布式安装部署
官方文档下载安装包wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.260/presto-server-0.260.tar.gz解压tar -zxvf presto-server-0.259.1.tar.gz创建一个数据目录用于presto存储数据mkdir /data/presto_data在安装目录中创建etc目录，并编写配置文件mkdir etc# 编写节点属性配置文
2021-08-26 11:28:32
352
原创 hive comment注释中文乱码解决
1、进入数据库 Metastore 中执行以下 5 条 SQL 语句（第一步执行后依旧不行再尝试下面几步）#修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;#修改分区字段注解alter table PART
2021-08-09 18:00:04
568
原创 kettle 集群部署及使用
准备了3台服务器（hostname分别为etl1,etl2,etl3）作为集群节点。每个节点安装jdk,设置jdk环境变量（略）上传kettle安装包到每个节点并解压unzip pdi-ce-9.1.0.0-324.zip修改$KETTLE_HOME/data-integration/pwd下的配置文件主节点etl1需要修改carte-config-master-8080.xml副节点修改carte-config-xxxx.xml文件，有几个副节点就对应更改就行etl1修改carte.
2021-08-07 17:09:01
2749
2
原创 kettle写入HDFS文件错误
kettle写入HDFS文件错误Hadoop file output.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Unexpected errorHadoop file output.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : org.
2021-08-05 17:12:47
2492
原创 kettle 9.x版本配置连接hadoop集群
配置hive连接将hive驱动文件放在 $KETTLE_HOME/lib 目录下即可配置hadoop连接版本的支持及选择配置可参考官方文档2.1 选择对应版本驱动选择驱动文件，默认在**$KETTLE_HOME/data-integration/ADDITIONAL-FILES/drivers** 下点击next2.2 创建集群连接（先关闭kettle，重新启动，不然可能看不到Driver信息）选择从集群下载的配置文件，其他信息按集群地址配置即可提示为连接成功，查看原因.
2021-08-05 17:07:48
3450
21
原创 HDFS开启HA后，Hbase的REGIONSERVERS启动错误（Operation category READ is not supported in state standby）
问题： HDFS开启HA后，Hbase的REGIONSERVERS启动错误（Operation category READ is not supported in state standby）解决方案： Hbase配置中需要重新配置hbase.rootdirhdfs://nameservice1/hbase
2021-07-12 18:21:19
243
原创 基于ambari-NameNode开启高可用（HA）
此文章只是实操测试记录，更多细节建议查看官方文档启用NameNode高可用HDFS=>ACTIONS=>Enable NameNode HA如果Hbase正在运行，需要先停止Hbase填写一个Nameservice ID为NameNode和JournalNodes选择主机确认选择，下一步登录到NameNode主机进入安全模式创建检查点,如果已经创建过（即下一步按钮为绿色可点击状态），可以直接下一步sudo su hdfs -l -c 'hdf
2021-07-08 15:49:11
1535
原创 一、robotframework 安装
测试环境： windows安装前提： 已安装python（robotframework基于python环境）python安装过程略过安装的软件参考的这篇博文robot framework自动化测试参考手册安装python库# 安装robotframework,主要框架pip install robotframework# 安装wxPython，GUI库，RIDE依赖pip install wxPython# 安装Robot framework-ride，图形化界面pip inst
2021-07-03 16:29:22
400
原创 kylin02_kylin安装部署（集群模式）
官方文档地址前提：使用同一个 Hadoop 集群、HBase 集群下载、解压、配置环境变量参考官方文档或者kylin01_kylin安装部署（单机）修改配置文件vi $KYLIN_HOME/conf/kylin.properties# 配置相同的 kylin.metadata.url 值，即配置所有的 Kylin 节点使用同一个 HBase metastore。kylin.metadata.url=kylin_metadata@hbase# 配置 Kylin 节点列表 kyl
2021-06-29 17:20:40
309
原创 nginx + keepalived 安装配置高可用+负载均衡
以两台服务器节点为例,无特殊说明两个节点均需要安装配置1. 安装配置nginx1.1 安装nginx环境所需依赖yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel1.2 下载并解压nginx安装包。官方下载地址wget http://nginx.org/download/nginx-1.13.7.tar.gztar -xvf nginx-1.13.7.tar.gz1.3 安装nginx# 进入nginx目
2021-06-29 16:56:52
168
原创 backupPC安装与使用
官方文档地址： https://backuppc.github.io/backuppc/BackupPC.html更多参数详解，推荐阅读官方文档1. 安装与配置1.1 安装配置文件路径在 /etc/BackupPC安装路径在 /usr/share/BackupPC/不一样的可使用 whereis BackupPC 查看路径yum install -y backuppc1.2 配置httpd# 修改为backuppc用户vi /etc/httpd/conf/httpd.conf
2021-06-21 18:21:53
3181
4
原创 azkaban安装部署
官方文档地址：https://azkaban.readthedocs.io/en/latest/下载安装包， 解压# 官方下载地址，选择需要的版本下载https://github.com/azkaban/azkaban/releasestar -zxvf azkaban-3.90.0.tar.gz进入zakaban目录，编译构建# 先安装git 不然安装过程中会报错Failed to apply plugin [id 'com.cinnober.gradle.semver-git'
2021-06-17 14:38:54
308
原创 kerberos-06.解决开启kerberos后一些UI界面无法打开问题
开启kerberos后一些UI页面无法访问，出现403,401等情况本地安装mit kerberos并认证, 参考kerberos-05.windows安装mit kerberos并认证打开火狐浏览器进入配置 about:config在network.negotiate-auth.trusted-uris 加上需要认证的域名将network.auth.use-sspi改成false再次访问页面测试，成功进入...
2021-05-08 11:20:07
810
1
原创 kerberos-05.windows安装mit kerberos并认证
1.官网下载安装kerberos2. 拿到服务器krb5.conf配置文件，在windows下要改名为krb5.ini，并且删除部分有Linux路径的配置，如红框内的需要删除3. 配置环境变量根据文件地址配置环境变量，krb5cache文件是需要后面生成的。只需要创建好temp目录即可变量名：KRB5_CONFIG，变量值：D:\krb5\krb5.ini变量名：KRB5CCNAME，变量值：C:\temp\krb5cache在kerberos安装路径bin目录下运行命令生成票据k
2021-05-08 11:14:56
2172
原创 kerberos-04.spark连接kerberos认证的hive
在服务器下载配置文件放在本地项目resources目录下定义好kerberos认证方法,先进行认证再执行其他代码即可，示例代码如下import org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSessionimport org.apache.hadoop.security.UserGroupInformationobject day03 { def main(args: Array[String]): Unit = .
2021-05-08 11:11:18
1118
原创 Superset01.Superset安装部署
参考官方文档的安装笔记 https://superset.apache.org/docs/installation/installing-superset-from-scratch安装依赖包yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel建议在Python虚拟环境中安装supersetpip in
2021-03-25 09:28:51
263
原创 kerberos认证下kafka报错Bootstrap broker host:ip (id: -1 rack: null) disconnected
开启了kerberos认证后kafka运行kafka-console-producer.sh和kafka-console-consumer.sh报错Bootstrap broker host:ip (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)编辑$KAFKA_HOME/config/ 下的producer.properties和consumer.properties文件，在末尾添加认证方式sasl.m
2021-03-14 10:03:05
14130
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人