- 博客(13)
- 收藏
- 关注
RSS订阅原创 【大数据面经系列】大数据开发（实时计算方向）面试题（二）
腾讯 一面 自我介绍 特征变量计算项目 两个字符串相减（大数相减） flink端到端一致性 flink两阶段提交以及如何与checkpoint机制结合 flink反压机制 两数相加 米哈游 一面 自我介绍 flink作业提交过程 算子如何分配slot flink watermark 业务场景：去重求当天的pv 业务场景：实时数仓架构设计 java：currentHashmap 原理 volitate final，finally，finalize关键字区别 类加载以及在jvm中 flink中有哪些关联维
2022-02-16 21:29:36
2010
原创 【大数据面经系列】大数据开发（实时计算方向）面试题（一）
得物 一面 自我介绍 实时数仓相关项目介绍 flink集群规模与版本 多流join有哪些？ connect原理与实现 flink状态后端有哪些？ FSMemory和RocksDBstate有什么区别？ flink反压机制如何检测和解决？ 多个算子的单一算子链如何检测反压？ kafka ack机制 kafka rebalance 二面 自我介绍 实时模型特征值工程介绍？重点项目介绍 频繁查询维表如何处理？ 频繁update 外存如何处理？ 端到端的一致性保证 sink到kafka中的一致性保证？kafk
2022-01-29 12:14:59
4010
原创 redis性能问题排查学习笔记
本问是在阅读学习公众号水滴与银弹的文章《Redis为什么变慢了？一文讲透如何排查Redis性能问题 | 万字长文》之后，记录下自己的学习笔记（截图转自该文章，仅用作自己学习） 1. redis服务器基准性能测试 // 这个实例60秒内的最大响应延迟 redis-cli -h 127.0.0.1 -p 6379 --intrinsic-latency 60 // 查看一段时间内 Redis 的最小、最大、平均访问延迟 redis-cli-h127.0.0.1-p6379--latency-hi...
2021-02-08 20:09:36
522
2
原创 flink MapState 更新存储对象问题
这里写自定义目录标题欢迎使用Markdown编辑器 欢迎使用Markdown编辑器 在使用flink中的状态管理器时，由于需求背景我选用了MapState存储结构，但是在使用过程中发现修改存储对象的时候并没有MapState中的值并没有自动更新，这让我产生了很大的疑惑，看官方文档和flink源码中我都一直把MapState认为是类似于Map结构的，那自然认为修改里面的存储对象时整个map会自动更新，但是实际使用和测试下来确发现不是这样。 先贴一段官方文档： MapState<UK, UV>:
2020-10-20 19:45:48
3649
2
转载 java值传递和引用传递详解
【转载】java值传递和引用传递详解 java值传递链接 学过Java基础的人都知道：值传递和引用传递是初次接触Java时的一个难点，有时候记得了语法却记不得怎么实际运用，有时候会的了运用却解释不出原理，而且坊间讨论的话题又是充满争议：有的论坛帖子说Java只有值传递，有的博客说两者皆有；这让人有点摸不着头脑，下面我们就这个话题做一些探讨，对书籍、对论坛博客的说法，做一次考证，以得出信得过的答案。 其实，对于值传递和引用传递的语法和运用，百度一下，就能出来可观的解释和例子数目，或许你看一下例子好像就懂，但是
2020-09-15 10:57:01
286
原创 初用Mongo之findOneAndUpdate使用心得
本小白前几天在项目中用到mongo的findOneAndUpdate，使用过程中碰到一些坑，先总结如下： 用法： db.collection.findOneAndUpdate( <filter>, <update document or aggregation pipeline>, // Changed in MongoDB 4.2 { projection: <document>, sort: <document>,
2020-09-14 14:17:00
9823
2
原创 小白转flink技术栈心得之混编java和scala报错：error: java.lang.NoClassDefFoundError: javax/tools/ToolProvider
今天刚接手了一个flink项目，代码里有java也有scala写的部分，小白第一次遇到要java和scala都需编译的项目，于是乎先进行scala的编译： mvn clean scala:compile compile package -Pfat -DskipTests 结果报了一个错误: [ERROR] error: java.lang.NoClassDefFoundError: javax/tools/ToolProvider [ERROR] Failed to execute goal net.
2020-07-10 16:13:53
3972
2
转载 当心掉进Python多重继承里的坑
转载自：https://www.jianshu.com/p/71c14e73c9d9 关于类的知识点里面，有一块是关于多重继承,跟其他主流语言一样，Python也支持多重继承，多重继承虽然有一些好处，但是坑很多，我们今天就来聊一聊Python多重继承里面的坑. 先来看一下语法,Python多重继承的语法很简单: class subClass(Base1,Base2) 这相当于你创建了一个subClass的类，让它同时继承Base1,Base2,一旦你在subClass的实例上有任何隐式动作，Python会回
2020-06-06 15:03:01
229
原创 golang二三事之关于channel你知道和不知道的那些事
channel 向一个关闭的channel里，写数据。 无论是否带缓存的channel，都会引发错误 panic: send on closed channel 向一个关闭的channel里，读数据。 带缓存的channel 缓存里还有数据 返回 数据, true 缓存里没有数据 返回 数据类型未初始化零值, false 不带缓存的channel 缓存里没有数据 返回 数据类型未初始化零值, false 缓存里有数据 执行不到 从缓存里读数据就报错。因为数据没人读就阻塞在哪里了 关闭
2020-06-04 11:03:01
1103
原创 sqlalchemy连接mysql出现Mysql Gone Away报错
在使用sqlalchemy创建engine连接mysql的过程中，偶尔会碰到mysql gone away的问题，到处查文档也没有找的特别好的解决办法，如下找到stackoverflow的一个大佬做了一个db连接的监听器，之前遇到的问题也解决了，现和大家分享一下（有什么不足之处欢迎大家前来交流）： https://stackoverflow.com/questions/18054224/python-sqlalchemy-mysql-server-has-gone-away from sqlalchemy
2020-06-02 10:42:42
459
原创 golang二三事之计算时间差的那点坑
背景：楼上需求方又双叒来提需求来来，这次是想要判断两个时间的天数差， if 天数差 > xx and 天数差 < yy: 。。。。 在python中，我们有很多比如time包，datetime包中的方法可以帮助我们完成时间差的计算，比如 from datetime import date, datetime def date_diff(date1, date2=None, format="%Y-%m-%d %H:%M:%S"): """ 计算日期差，传入
2020-06-01 18:55:18
1521
2
原创 golang函数传参 VS python函数传参
近日在使用golang的过程中发现golang的函数传参和python的稍有区别，现总结记录如下： golang函数传参 1. 当传数组时 会将整个数组全都复制后进行值传递（函数修改数组后并不会影响数组的值），当数组比较大时，每次传递数组都很占用资源，所以一般不用数组传参 2. 当传切片时 此时是引用传递（函数修改切片后，外面的切片也相应被改变），但由于函数只是进行引用传递，并不会复制一遍值，所以一般都使用切片传值 python函数传参 python函数传参时，传递的是这个对象，变量就是关于对象的引用；
2020-05-31 14:23:26
279
原创 探索golang初始化
程序初始化顺序 golang程序初始化先于main函数执行，由runtime进行初始化，初始化顺序如下： 初始化导入的包（包的初始化顺序并不是按导入顺序（“从上到下”）执行的，runtime需要解析包依赖关系，没有依赖的包最先初始化，与变量初始化依赖关系类似，参见golang变量的初始化， package级别的变量，初始化顺序与初始化依赖有关）； 初始化包作用域的变量（该作用域的变量的初始化也并非按照“从上到下、从左到右”的顺序，runtime解析变量依赖关系，没有依赖的变量最先初始化，参见golang变
2020-05-31 11:51:14
405
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人