- 博客(126)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 踩坑——Doris,Can‘t get Kerberos realm, cause by: Can‘t get Kerberos realm
踩坑——Doris,Can't get Kerberos realm, cause by: Can't get Kerberos realm
2022-11-03 10:53:36
2340
原创 DataX mysql与hive间传输数据
@羲凡——只为了更好的活着DataX mysql与hive间传输数据官网前期准备a.下载并配置DataX，见官网b.有hive环境和mysql库0.注意事项a.mysql数据导入到hive 中 connection 中的 jdbcUrl必须是个list，也就是要加中括号b.hive数据导出到mysql 中 connection 中的 jdbcUrl必须是string，也就是别加中括号c.hive数据导出到mysql 中,hdfsreader数据类型转化,hive中的TINYINT,SMAL
2021-09-01 13:44:28
1129
原创 Kibana6.0 常用增删改查命令(四)——script
@羲凡——只为了更好的活着Kibana6.0 常用增删改查命令(四)——script1.script样例取address中数量大于2的条数PUT /aaron_indexPUT /aaron_index/_mappings{ "properties": { "name":{"type": "keyword"}, "address" : {"properties" : { "id" : { "type" : "integer" }, "city" : { "type" : "ke
2021-08-18 17:07:24
520
原创 Clickhouse 分布式子查询——global in/join(慎用慎用)
@羲凡——只为了更好的活着Clickhouse 分布式子查询——global in(慎用慎用)不能一味的追求查询效率，将分布式子查询都改成global in，一定要结合业务逻辑假设：有一个分布式表，字段班级、姓名、年龄，ck集群有两个分片classnameage102EEE10102GGG10103DDD8103BBB9103AAA10103CCC10103GGG111、建表语句CREATE TABLE t
2021-05-08 17:41:54
12257
27
原创 Clickhouse 监控运维常用SQL小结
@羲凡——只为了更好的活着Clickhouse 监控运维常用SQL小结1、查看磁盘空间SELECT name, path, formatReadableSize(free_space) AS free_space, formatReadableSize(total_space) AS total_space, typeFROM system.disks2、查看表大小SELECTtable,formatReadableSize(sum(data_com
2021-04-25 16:58:49
1261
2
原创 踩坑——Clickhouse,Timeout exceeded: While executing Remote, Stack trace
@羲凡——只为了更好的活着踩坑——Clickhouse,Timeout exceeded: While executing Remote, Stack trace当某个查询超过5分钟的时候，无论在命令行还是查询服务中，都会出现 Timeout exceeded: While executing Remote, Stack trace .查看max_execution_time和distributed_ddl_task_timeout 两个参数也没毛病。解决方案:在users.xml的 yande
2021-04-06 20:39:58
3199
原创 DolphinScheduler docker-compose安装(配置邮件)
@羲凡——只为了更好的活着DolphinScheduler docker-compose安装(配置邮件)前期准备安装 docker安装 docker-compose安装快速试用 Docker 部署 官方文档1.下载mkdir -p /opt/modules/dolphinschedulercd /opt/modules/dolphinschedulerwget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphins
2021-03-18 15:35:15
1050
3
原创 Docker-compose 安装
@羲凡——只为了更好的活着Docker-compose 安装先安装docker才能安装docker-composeDocker-compose安装官网1.把命令从上往下执行即可curl -L "https://github.com/docker/compose/releases/download/1.28.5/docker-compose-$(uname -s)-$(uname -m)" \-o /usr/local/bin/docker-composechmod +x /usr/local
2021-03-16 11:28:39
243
原创 Clickhouse 数据库连接工具——DBeaver
@羲凡——只为了更好的活着Clickhouse 数据库连接工具——DBeaver1.下载 DBeaver 和 连接驱动https://dbeaver.io/files/dbeaver-ce-latest-x86_64-setup.exehttps://jar-download.com/?search_box=clickhouse-jdbc2.安装一路next到结束,简单吧,这里就不截图了3.连接ck第一步第二步第三步4.连接成功截图|||===============
2021-03-10 17:12:57
4538
2
原创 Clickhouse 集群监控(Prometheus+Grafana)
@羲凡——只为了更好的活着Clickhouse 集群监控(Prometheus+Grafana)ClickHouse 从 v20.1.2.4 开始，内置了对接 Prometheus 的功能，可以将其作为 Prometheus 的 Endpoint 服务，从而自动的将 metrics、events 和 asynchronous_metrics 三张系统的表的数据发送给 Prometheus。前期准备选4台机器安装Clickhouse集群另选一台机器作为监控机器，先安装Docker一、修改Click
2021-01-29 17:35:51
3191
7
原创 Clickhouse 外部表、本地表、副本表和分布式表
@羲凡——只为了更好的活着Clickhouse 外部表、本地表、副本表和分布式表四个表简介外部表:ck中只有元数据,数据在hdfs等外部存储介质中本地表:ck的单机表,在某台机器上创建,就只能在这个机器上使用副本表:数据在ck集群上,每个分片有多个副本分布式表:相当于传统数据库的视图,对大批量的数据不推荐直接插分布式表前期准备a.安装 两分片两副本的Clickhouse集群b.样例数据1,羲凡,29,1992-02-27,nj5,张三,27,1994-02-27,sh3,李四,29
2021-01-19 21:04:13
3384
原创 Clickhouse 集群安装(完整版)
@羲凡——只为了更好的活着Clickhouse 集群安装(完整版)前期准备安装zookeeper集群步骤1.先安装四个单机的clickhouse2.在四台机器上新建 /etc/metrika.xml 文件，生成两分片两副本集群一、安装单机clickhouse(四台都操作,以Centos为例)官网Centos/Ubuntu/Docker安装1.1.在线安装yum install yum-utilsrpm --import https://repo.clickhouse.tech/CLIC
2021-01-19 20:04:10
4651
2
原创 Doris hdfs数据导入doris动态分区表
@羲凡——只为了更好的活着Doris hdfs数据导入doris动态分区表本文重点1.动态分区表创建2.读取路径作为分区参数3.预聚合增加count列——set (cnt = 1)4.broker load 的 hdfs HA 配置前期准备1.安装好doris——Doris 编译安装(完整版)2.doris基本知识扫盲Doris的数据模型主要分为3类:Aggregate、Duplicate、Unique;Doris支持单分区和复合分区两种建表方式;单分区指的是只指定分桶;复合分区指
2021-01-07 12:19:02
3932
7
原创 Doris 编译安装(完整版)
@羲凡——只为了更好的活着Doris 编译安装(完整版)前期准备安装java8、mysql、docker安装java8、mysql 这个基本操作，晚上也有很多例子，我就不赘述了。安装docker，这有两个博客拿走不谢(Centos7和Ubuntu)集群规划可能有小白会问，为啥只有 FE-Follower ，却没有FE-Leader？因为Leader是从Follower中选举出来的，如果自由一个Follower ，那么它就呗选举为LeaderhostnameFE-FollowerF
2020-12-16 18:23:39
6290
13
原创 踩坑——Mongodb mongoexport -q 的使用
@羲凡——只为了更好的活着踩坑——Mongodb mongoexport -q 的使用先说干货，使用mongoexport -q 需要注意以下两点第一，-q 后面的参数一定要写成标准的json格式，如果怕自己写的不对，找一个json解析工具验证一下第二，一定要将json用单引号包起来，放在 -q的后面，切记切记成功样例如下：mongoexport --authenticationDatabase admin --host 10.10.227.227 --port 30000 \-q '{"ch
2020-08-17 15:07:09
4107
1
原创 Mongodb 安装——mongodb4.0.19
@羲凡——只为了更好的活着Mongodb 安装——mongodb4.0.191.下载/解压/配置环境变量wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.0.19.tgztar -zxf mongodb-linux-x86_64-rhel70-4.0.19.tgz -C /opt/modules/vim /etc/profile #mongodb export MONGODB_HOME=/opt/modul
2020-08-11 11:02:24
523
原创 Jenkins 安装和配置完整版
@羲凡——只为了更好的活着Jenkins 安装和配置完整版前期准备安装java8、maven、git一、安装安装一定要看 官网如果是 Red Hat / CentOS如果是root用户下面命令就不用加 sudosudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.reposudo rpm --import https://pkg.jenkins.io/redhat-s
2020-08-07 20:04:15
3451
原创 Druid完整版集群安装——druid0.18.1
@羲凡——只为了更好的活着Druid完整版集群安装——druid0.18.1前期准备安装zookeeper、java8、mysql集群规划hostname主节点数据节点查询节点mysqlml16.com√ml20.com√ml21.com√√ml22.com√一、下载解压配置环境变量每台机器都要操作1.下载安装包wget http://archive.apache.org/dist/druid/0.18.1/a
2020-07-01 15:58:33
1199
2
原创 Flink 窗口函数处理数据(Watermark和SideOutput)
@羲凡——只为了更好的活着Flink 窗口函数处理数据(Watermark和SideOutput)统计过去5分钟内的一些数据是流处理中最常见的一种模式。这就涉及到经典的一个问题——数据延迟或乱序怎么办？Flink，针对数据延迟或乱序有几个重要的解决思路，1.添加水位线Watermark2.推迟关闭窗口时间3.超时数据的side输出下面的例子是，统计10s内的数据，水位线位2s，窗口再延迟4s关闭，最后超时数据side输出1.直接上代码package flink.window;impor
2020-06-18 17:15:20
746
原创 Java redis线程池(哨兵模式和集群模式)
@羲凡——只为了更好的活着Java redis线程池(哨兵模式和集群模式)0.前提准备pom.xml文件中要添加依赖(根据自己的flink版本修改哈)<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version></dependency>1.Redis 哨
2020-06-05 17:36:35
809
原创 Flink logback日志配置
@羲凡——只为了更好的活着Flink logback日志配置1.将flink的lib目录下log4j-1.2.17.jar , slf4j-log4j12-1.7.15.jar 移除(可以备份至别的目录下)2.在lib目录添加下面四个jar包log4j-over-slf4j-1.7.9.jar (https://repo1.maven.org/maven2/org/slf4j/)logback-access-1.2.3.jar,logback-classic-1.2.3.jar,logback-
2020-06-04 14:44:45
2379
原创 TiDB 单机安装测试集群(Docker Compose)
@羲凡——只为了更好的活着TiDB单机安装测试集群(Docker Compose)1.准备环境a.安装Docker(Ubuntu/Centos)b.安装Docker Compose# 基础环境yum -y install gcc python-devel# 安装pip并升级(检验命令为 pip -V)yum -y install epel-release python-pippip install --upgrade pip# 安装docker-composepip install d
2020-05-26 14:42:48
328
原创 Docker安装(Centos7)
@羲凡——只为了更好的活着Docker安装(Centos7)1.把命令从上往下执行即可yum -y updateyum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repoyum list docker-ce --showduplicates | sort
2020-05-26 14:10:21
577
原创 Azkaban编译安装完整版(集群模式)
@羲凡——只为了更好的活着Azkaban编译安装完整版(集群模式)Azkaban是一个任务调度工具。安装模式也分单机模式和集群模式。下面来编译安装Azkaban-3.84.21前期准备安装git yum install -y git安装java8安装mysql一、编译1.下载oozie源码包wget https://github.com/azkaban/azkaban/archive/3.84.21.tar.gz2.解压tar -zxf 3.84.21.tar.gz -C ./3
2020-05-25 17:42:04
720
原创 Hbase RegionServer分组设置和使用
@羲凡——只为了更好的活着Hbase RegionServer分组设置和使用1.设置如果是手动搭建hbase集群hbase-site.xml中添加一下设置<property> <name>hbase.coprocessor.master.classes</name> <value>org.apache.hadoop.hbase.rsgroup.RSGroupAdminEndpoint</value></property>
2020-05-15 18:20:09
721
转载 Redis 集群搭建(主从模式)
@羲凡——只为了更好的活着Redis 集群搭建(主从模式)分布式缓存 Redis 集群搭建====================================================================@羲凡——只为了更好的活着若对博客中有任何问题，欢迎留言交流...
2020-04-28 11:27:37
200
原创 Java 发送post请求
@羲凡——只为了更好的活着Java 发送post请求import com.alibaba.fastjson.JSONObject;import org.apache.commons.httpclient.HttpClient;import org.apache.commons.httpclient.HttpStatus;import org.apache.commons.httpclie...
2020-04-27 17:44:16
547
2
原创 YARN REST API 提交MR任务
@羲凡——只为了更好的活着YARN REST API 提交MR任务官网介绍地址 http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html既然是api，推荐使用postman或者idea，本文使用postman0.准备MR的jar包并上传到hdfs上hdfs dfs...
2020-04-13 11:28:16
1910
4
原创 Hbase 表导出到hdfs和从hdfs导入
@羲凡——只为了更好的活着Hbase 表导出到hdfs和从hdfs导入0.hbase表准备create 'tmp','c'put 'tmp',1,'c:name','Aaron'put 'tmp',1,'c:age',28put 'tmp',2,'c:name','yao'put 'tmp',2,'c:home','nanjing'1.表导出到hdfshbase org.apa...
2020-04-10 16:10:13
712
原创 Flink DateStream或DateSet与Table相互转换(Java)
@羲凡——只为了更好的活着Flink DateStream或DateSet与Table相互转换一.前提准备1.安装好flink，我使用的是Flink1.7.22.pom.xml文件中要添加依赖我们公司用的版本有点旧，是es5，如果你的不是，你一定要查找对应版本的依赖<dependency> <groupId>org.apache.flink</gr...
2020-03-04 15:29:29
1762
2
原创 踩坑——Flink报错 找不到org.apache.flink.streaming.api.scala.StreamExecutionEnvironment的类文件
@羲凡——只为了更好的活着踩坑——Flink报错 找不到org.apache.flink.streaming.api.scala.StreamExecutionEnvironment的类文件一.问题背景新建一个项目，准备用java写flinktable，发现报错如下Error:(20, 58) java: 无法访问org.apache.flink.streaming.api.scala.S...
2020-02-27 11:48:51
14413
1
原创 Flink 批处理——多文件写入hdfs(Java)
@羲凡——只为了更好的活着Flink 批处理——多文件写入hdfs(Java)0.本文解决哪种问题假如你有5000个门店甚至更多，产品需要你将每个门店的数据都写成一个文件且以门店命名，这意味着你要写5000或更多的文件，如果你直接用flink批处理writeAsText算子要么报错，要么特别慢，如果报错 Cannot currently handle nodes with more tha...
2020-02-22 21:25:24
2243
原创 踩坑——Flink报错 Cannot currently handle nodes with more than 64 outputs.
@羲凡——只为了更好的活着踩坑——Flink报错 java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HTable.getTableName()[B一.问题背景一开始公司用cm5安装的hadoop2.0集群(Hbase是1.2.0版本)，有个需求我用代码已经写好了，但是在快上线的时候决定用cm6安装的hadoop3.0(Hb...
2020-01-22 14:10:58
1275
2
原创 Centos7 安装postgre9.6
@羲凡——只为了更好的活着Centos7 安装postgre9.61.yum安装yum -y install https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7.6-x86_64/pgdg-centos96-9.6-3.noarch.rpmyum -y install postgresql96.x86_64 po...
2020-01-20 17:31:51
313
原创 Keepalived+Nginx 实现反向代理高可用(主从模式)
@羲凡——只为了更好的活着Keepalived+Nginx 实现反向代理高可用(主从模式)实现方式：1.安装 Keepalived 在两台机器上虚拟出相同的虚拟IP2.用虚拟IP指向需要代理的两个地址1.安装keepalived(两台机器)yum -y install keepalived2.修改 /etc/keepalived/keepalived.conf注意事项stat...
2020-01-17 15:17:57
579
原创 Flink 消费kafka数据写入elasticsearch
@羲凡——只为了更好的活着Flink 消费kafka数据写入elasticsearch一.前提准备1.安装上elasticsearch和kibana，如果不会安装的可以点击下面链接查看安装elasticsearch安装kibana2.pom.xml文件中要添加依赖我们公司用的版本有点旧，是es5，如果你的不是，你一定要查找对应版本的依赖<dependency> ...
2019-11-25 10:46:45
1332
原创 Flink 消费kafka数据写入hbase
@羲凡——只为了更好的活着Flink 消费kafka数据写入hbase一.前提准备1.创建Hbase表create 'test_20191122','info'2.pom.xml文件中要添加依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-cli...
2019-11-22 10:48:35
3782
5
原创 Flink 读取kafka数据写入Pulsar(含报错The implementation of the RichSinkFunction is not serializable)
@羲凡——只为了更好的活着Flink 读取kafka数据写入Pulsar(含报错The implementation of the RichSinkFunction is not serializable)开始之前务必检查自己kafka、pulsar和flink的版本，在pom中添加正确依赖本人kafka(0.11)、pulsar(2.4.1)和flink(1.7.2)，切记版本不一样，代码...
2019-11-15 10:29:55
5641
4
原创 Pulsar 安装完整版——pulsar2.4.1
@羲凡——只为了更好的活着Pulsar 安装完整版——pulsar2.4.1pulsar自从腾讯使用后各种火，最近查看官方文档，实操后整理了一份安装手册，贡献给大家安装分一下几步：零、前期准备一、部署ZooKeeper集群二、初始化集群元数据三、部署BookKeeper集群四、部署Pulsar brokers安装pulsar2.4.1官网要求每台机器安装至少Java1.8的环境...
2019-11-13 10:41:16
3605
6
APT方式安装mysql的包
2019-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人