- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 最新：flink1.18.1 使用Prometheus+Grafana监控Flink on YARN作业
在较新版本的Flink中，配置metrics reporter的方式已经改变，不再直接配置。对于PrometheusPushGatewayReporter，工厂类应该是。通过查看日志发现，该方式对老的版本有效果，针对新版本无效。因此，我们需要修改flink-conf.yaml中的配置，将。，并指定对应的工厂类。
2025-11-21 14:50:59
547
原创 Docker构建doris-2.0.14 FE 、BE镜像（亲测可用，解决apt下载不了的问题）
使用前者会让 Docker Image Size 更小，但是如果构建失败的话可能下载操作会重复进行，导致构建时间过长，而后者更适用于网络环境不是很好的构建环境。基础父镜像选用经过 Docker-Hub 认证的 OpenJDK 官方镜像，版本用 JDK 1.8 版本，推荐基础父镜像：openjdk:8u342-jdk；需要内嵌脚本来完成 FE 的启动、多 FE 注册、状态检查和 BE 的启动、注册 BE 至 FE、状态检查等任务流程；编写 BE 的执行脚本，可参考复制。1、构建 FE 镜像的环境目录。
2024-09-13 09:30:53
1015
1
原创 spark sql基础学习（一）
1、简单使用（结构化的json文件）object test1 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("test1").setMaster("local") val sc = new SparkContext(conf) val s...
2018-08-05 11:09:31
257
原创 idea搭建 spark mavne scala开发环境 wordcount例子
一、下载JDK并安装安装1.首先安装Java，必须1.7版本以上才支持Scala，http://www.oracle.com/下载对应版本2. 设置系统环境变量：JAVA_HOME C:\Program Files\Java\jdk1.8.0_65 Path中添加 %JAVA_HOME%\bin; CLASSPATH添加 .;%JAVA_HOME%\lib\dt.jar...
2018-08-04 14:14:35
328
原创 Java多线程方式写入Hbase
Java多线程方式写入Hbase，速度比单线程快很多。代码：package com.test.transform;import java.io.IOException;import java.text.ParseException;import java.util.ArrayList;import java.util.List;import java.util.Random;...
2018-07-19 11:26:16
3227
原创 MR方式HDFS数据导入Hbase表数据
MR方式HDFS数据导入Hbase表数据，通过ImmutableBytesWritable方式原始数据是基站码，不方便贴出来，大家见谅。eg：代码:package com.test.transform;import java.io.IOException;import java.text.ParseException;import java.util.Random;imp...
2018-07-19 11:21:57
1574
原创 mr生成HFile,导入Hbase表中（适用于空表，数据较大,只有一个列族的表）
mr生成HFile,导入Hbase表中（适用于空表，数据较大,只有一个列族的表）代码：package com.test.bulkload;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfigurat...
2018-07-19 11:10:50
1007
原创 Hbase数据导入Hdfs
hbase数据导入到hdfs，主要是通过TableMapper实现读取hbase表数据，写入hdfs目录，话不多说，直接上的代码（亲测可用）package com.test.transform;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.f...
2018-07-19 11:04:43
2787
window 运行spark所需文件
2018-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人