- 博客(17)
- 收藏
- 关注
RSS订阅原创 kafka面试题（二）
CooperativeStickyAssignor（协作粘性分配）：这是StickyAssignor的改进版本，它通过协作方式减少重新分配的发生，适用于消费者数量经常变化的情况。RoundRobinAssignor（轮询分配）：这种策略将分区顺序分配给消费者，每个消费者依次消费一个分区。当消费者数量小于分区数量时：每个消费者会分配到相应的分区，确保每个分区都被消费。当消费者数量大于分区数量时：多余的消费者将不会被分配到任何分区，处于闲置状态。它试图减少因消费者增减而引起的频繁重新分配。
2024-11-11 19:24:50
396
原创 Kafka面试题(一）
假如broker0中的controller中抢到了，那它就是说了算的人。假如Follower挂掉了，Leader和其他的Follower 继续往前存储数据，挂掉的节点从ISR集合中剔除，此时挂掉的Follower又重启了，它会先从上一次挂掉的节点的HW（最高水位线）开始同步数据，直到追上最后一个Follower为止,此时会重新回归ISR。3）选举规则是：在ISR中存活为前提，按照AR中排在前面的优先，比如：ar[1,0,2] ,isr[1,0,2],那么Leader会按照1，0，2 进行顺序的轮询。
2024-11-11 19:16:41
479
原创 Kafka 命令行操作
-replication-factor 定义副本数。（2）把主题中所有的数据都读取出来（包括历史数据）5）修改分区数（注意：分区数只能增加，不能减少）2）查看当前服务器中的所有 topic。6）再次查看 first 主题的详情。--topic 定义 topic 名。--partitions 定义分区数。3）创建 first topic。4）查看 first 主题的详情。1）查看操作生产者命令参数。1）查看操作消费者命令参数。1）查看操作主题命令参数。一、 主题命令行操作。7）删除 topic。
2024-11-07 20:18:51
742
原创 Kafka快速入门
5）分别在 bigdata02 和 bigdata03上修改配置文件/opt/installs/kafka/config/server.properties 中的 broker.id=1、broker.id=2 （注：broker.id 不得重复，整个集群中唯一。（2）依次在 bigdata01、bigdata02、bigdata03 节点上启动 Kafka。（1）先启动 Zookeeper 集群，然后启动 Kafka。3）进入到/opt/installs/kafka3 目录，修改配置文件。
2024-11-07 20:12:35
624
原创 Spark的34个算子
coalesce(根据情况) join（ fullOuterJoin / leftOuterJoin / rightOuterJoin）3、哪些算子能触发shuffle过程。
2024-11-06 20:08:08
160
原创 Spark单机模式以及测试
Spark Python Shell 是一个交互工具，可以启动spark中的交互工具，里面可以写代码。去官网找你所需要的版本，我们以spark-3.1.2-bin-hadoop3.2.tgz为例。# --master：用于指定运行的模式，--master yarn。功能：提供一个交互式的命令行，用于测试开发Spark的程序代码。Spark的客户端bin目录下：提供了多个测试工具客户端。3：单机部署：Spark Python Shell。目标：掌握Spark Shell的基本使用。
2024-10-31 20:47:37
1132
原创 LInux的网络设置之（Bridged）桥接模式
桥接模式就是将主机网卡与虚拟机虚拟的网卡利用虚拟网桥进行通信，在桥接的作用下，类似于把物理主机虚拟为一个交换机，所有桥接设置的虚拟机连接到这个交换机的一个接口上，物理主机同样也插在这个交换机中，所以当所有桥接下的网卡都是交换模式的，相互可以访问而不干扰，在桥接模式下，虚拟机ip地址需要与主机在同一个网段，如果需要联网则网关与DNS需要与主机网卡一致。systemctl restart network #重启网络 (注意:如果重启网络不管用就终极大招重启虚拟机)查看本机IP设置和本机一样的网段。
2024-10-21 13:14:45
579
原创 帆软FineBI考试二十个题目
4. 模板页面已经引用数据集ds1的字段内容，后面将ds1名字改成ds2，模板主体内容会自动变成引用ds2。15. 有时我们希望将模板发送给别人修改，导出模板时需要附带导出内置数据，导出时其实是作为两个文件存在的。17. FineBI可以将FineReport制作的报表挂出，并且可以集成到FineBI制作的仪表板中。答案: A. 左合并, B. 右合并, C. 并集合并, D. 交集合并。3. 模板单元格中，左侧下方有黄色三角形，表示什么意思？11. if(3==3,1,2)结果是什么？
2024-10-14 08:16:12
1112
原创 Redis的概论及安装部署
假如你在redis.conf下指定了bind 这个参数,在关闭的时候,需要添加-hIP地址,如 果使用的是默认的bind127.0.0.1。Redis是数据库，是一个NoSQL数据库,是基于内存的,可以当做缓存使用,使用频率相当高。以后再修改redis.conf 就直接使用 /usr/local/bin/redis.conf 即可。数据库排名连接:https://db-engines.com/en/ranking。下载链接:https://download.redis.io/releases/
2024-09-12 19:16:43
471
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人