- 博客(16)
- 收藏
- 关注
RSS订阅原创 手把手教你如何写一个FLink Connecter(二)
lookup source相对于比较简单,其核心原理就是根据key再数据库中查询完数据之后，缓存起来。减少数据库的压力。类跟sink一样。lookupsource需要继承DynamicTableSourceFactory。整体代码的结构和sink结构相似。确定完表结构与主键之后就好。在这里为了方便,主键不允许设置主键，需要提前将主键定义成一个string字段类。
2023-04-25 15:48:52
348
2原创 记录一次hive优化的全过程
记录一次hive优化的全过程因为涉及公司隐私，本文所有的sql被精简化，加上脱敏处理。第一版的sql：set hive.exec.parallel=true;set mapred.max.split.size=134217728;set mapred.min.split.size.per.node=134217728;set mapred.min.split.size.per.rack=134217728;set hive.exec.reducers.bytes.per.reducer=10
2020-10-28 01:19:23
502
原创 Spark性能优化
Spark性能优化最新文章访问我的博客：http://bryce-loski.github.io/在大数据处理过程中，涉及到最多的就是性能优化。这个也是大数据场景的重点与难点。本文将从常见的几个方面与实现spark的优化常规性能调优1.1 常规性能调优一：最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 资源的分配在使用脚本提交Spark任务时进行指
2020-10-28 01:18:09
1390
原创 Spark性能优化
Spark性能优化最新文章访问我的博客：http://bryce-loski.github.io/在大数据处理过程中，涉及到最多的就是性能优化。这个也是大数据场景的重点与难点。本文将从常见的几个方面与实现spark的优化常规性能调优1.1 常规性能调优一：最优资源配置 Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 资源的分配在使用脚本提交Spark任务时进行指
2020-07-24 20:42:17
243
原创 那些年走过的azkaban的坑
写在前面的话：azkaban这个轻量级的调度工具说实话报错信息真的很让人捉急，基本上提供不了什么有用的信息1. java.lang.IllegalStateException: Process has not yet started检查点一：检查flow文件内容是否写正确，格式问题，脚本路径。这一切都很重要！！！检查点二：如果在集群中部署了多Executor模式。那么在这种模式下Azkaban web Server会根据策略，选取其中一个Executor取执行任务。如果给Azkaban调度扽脚本所需
2020-07-06 19:44:24
2666
原创 Flume在修改文件名后会重复读取文件问题
Flume在修改文件名后会重复读取文件问题问题描述：使用正则表示监控文件名时，当修改文件名称之后，会重复读取数据。问题场景：在生产环境下，使用log4j打印日志框架时，会变更打印日志名称，造成flume重复读取问题重现：配置信息 test.conf# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sour
2020-06-24 16:03:47
1210
原创 Spark任务运行流程(基于yarn集群模式)源码分析（1）
Spark任务运行流程(基于yarn集群模式)源码分析（1）写在前面的话本文通过通俗易懂的方式，将以spark的yarn集群模式，通过源码层面去分析spark的任务调度流程。因为源码量巨大，所以只分析调度任务时所经历的主要流程。注：阅读前需要具备一点点scala基础1.1 Spark核心组件DriverSpark的驱动器节点，用于执行spark的main方法，负责实际代码的执行工作。主要责任有：将用户程序转化为作业(job)在Executor之间调度任务(Task)跟踪Execut
2020-06-19 14:51:51
432
原创 [JAVA灵魂10问]关于sleep与wait的思考
关于sleep与wait的思考写在前面的话一说到sleep和wait的区别，最先想到是的1.时间 sleep可以设置时间，wait一般不设置时间需要唤醒2.对象锁 sleep不释放对象锁，而wait释放对象锁sleep和wait的核心区别sleep方法是静态的** wait是成员方法**sleep关于sleep在java源码中只有简单的一句话public static native void sleep(long millis) throws InterruptedException;
2020-06-04 15:42:49
248
原创 HashMap 源码剖析
HashMap 源码剖析如果你是要面对面试，可以直接去看下基本概念与总结1.hashmap的基本概念hash的基本概念：把一个任意长度的基本输入，通过一系列的hash算法映射成一个固定长度的输出。有时候两个不同的输入，映射出一个相同的输出，这种情况呗称为hash冲突。hashmap的存储结构按JDK8来说是：数组+链表+红黑树构成的。hashmap的每一个存储单元称为一个node结构。node中包含了：key字段：map中key的字段value字段：map中value的字段next字
2020-06-04 14:27:16
434
原创 [JAVA灵魂10问]你知道java的重写吗？
[JAVA灵魂10问]访问权限的拷问：你懂的怎么使用clone吗这期来讲讲java中的重写：首先贴一段简单的代码:看一下运行的结果package cn.bryce.java;public class Java05_overwrite { public static void main(String[] args) { User2 user = new User2(); System.out.println("user = " + user.sum()); Person user2 =
2020-05-25 21:15:53
282
原创 [JAVA灵魂10问]访问权限的拷问：你懂的怎么使用clone吗
clone：这个方法估计都不陌生。object种的方法。这个是object中的一个方法，我们都知道，任何类都会继承object这个类。首先提出一个问题：public class Java_Access { public static void main(String[] args) throws Exception { Object user = new User(); user.clone(); }}class User { }这个clone的方法会报错吗？如果你的答案
2020-05-25 20:33:52
276
原创 Zookeeper 3.4.10安装教程
本文介绍Zookeeper 3.4.10的安装说明，为前序文章[大数据]数据仓库的搭建的辅助文档。本文只作为辅助文档，对zookeeper安装配置只配置对搭建数仓需要的地方。并不对zookeeper做详细的说明。文章目录1.集群规划2.解压安装3.配置服务器编号4.配置zoo.cfg文件5.配置文件解析6.集群操作，启动停止1.集群规划前文提到，作为教程就设置了3个服务器。所以在hadoo...
2020-03-27 00:47:07
619
原创 Hadoop Apache 2.7.2 安装教程
本文介绍Hadoop Apache2.7.2的安装说明，为前序文章[大数据]数据仓库的搭建的辅助文档文章目录1.JDK安装2.安装Hadoop3.完全分布式环境配置4.支持LZO压缩配置5.HDFS扩容配置6.HDFS基准测试7.Hadoop参数调优1.JDK安装 hadoop的功能运行需要的JDK版本在1.7以上。所以先要查询JDK的版本是否在1.7以上。1.查询方法：rpm -ga...
2020-03-25 00:52:49
647
原创 shell脚本执行jps时：-bash: jps: command not found
我构建了hadoop集群。我们一定会写一个shell脚本去每一个节点上去jps，查看每个节点的进程情况。原先以为shell很简单：#!/bin/bash#查看每个节点运行情况for((host=101;host<108;host++));doecho -----------hadoop$host------------- ssh hadoop$host "jps"done...
2020-02-15 09:59:30
1758
原创 [Java]斐波那契数列的实现与优化
需求：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问指定月份的兔子对数为多少？规律：第一个月：1 第二个月：1 第三个月：2 第四个月：3 第五个月：5 第六个月：8…递归算法上面是一个很简单的斐波那契额数列的例子。也是递归数列的经典例子。So，我们用递归来解决它public class T...
2019-12-25 19:03:55
622
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人