数据流中的中位数

本文介绍了一种利用大顶堆和小顶堆实时计算数据流中位数的方法。通过不断调整两个堆之间的元素数量,确保能快速准确地获取到当前数据流的中位数。

题目描述

如何得到一个数据流中的中位数?如果从数据流中读出奇数个数值,那么中位数就是所有数值排序之后位于中间的数值。如果从数据流中读出偶数个数值,那么中位数就是所有数值排序之后中间两个数的平均值。

思路:借助于大顶堆和小顶堆来模拟数据流的动态过程。

package alex.jzoffer;

import java.util.Comparator;
import java.util.PriorityQueue;

public class GetMedian {
    PriorityQueue<Integer> minHeap = new PriorityQueue<Integer>(); //小顶堆
    //大顶堆
    PriorityQueue<Integer> maxHeap = new PriorityQueue<>(30, new Comparator<Integer>() {
        @Override
        public int compare(Integer o1, Integer o2) {
            return o2 - o1;
        }
    });
    int count = 0;
    public void Insert(Integer num) {
        //当数据总数为偶数时,新加入的元素,应当进入小根堆(注意不是直接进入小根堆,而是经大根堆筛选后取大根堆中最大元素进入小根堆)
        if(count % 2 ==0){
            maxHeap.offer(num);
            int maxNumOfMaxH = maxHeap.poll();
            minHeap.offer(maxNumOfMaxH);
        }
        //当数据总数为奇数时,新加入的元素,应当进入大根堆(注意不是直接进入大根堆,而是经小根堆筛选后取小根堆中最小元素进入大根堆)
        else{
            minHeap.offer(num);
            int minNumOfMinH = minHeap.poll();
            maxHeap.offer(minNumOfMinH);
        }
        count++;
    }

    public Double GetMedian() {
        if(count % 2 ==0){
            return new Double((maxHeap.peek() + minHeap.peek())) /2;
        }
        else{
            return new Double(minHeap.peek());
        }
    }

}
计算数据流中位数可以通过Flink的ProcessFunction来实现。 具体实现步骤如下: 1. 将数据流按照大小排序 2. 计算数据流的长度,如果是奇数,则中位数为第 (length+1)/2 个元素;如果是偶数,则中位数为第length/2个元素和第(length/2+1)个元素的平均值。 3. 在ProcessFunction的实现中,可以使用状态变量来保存数据流的有序列表,并计算中位数。 以下是一个简单的示例代码: ```java public class MedianFunction extends ProcessFunction<Integer, Double> { private ListState<Integer> values; @Override public void open(Configuration parameters) throws Exception { super.open(parameters); values = getRuntimeContext().getListState(new ListStateDescriptor<Integer>("values", Integer.class)); } @Override public void processElement(Integer value, Context ctx, Collector<Double> out) throws Exception { values.add(value); List<Integer> sortedValues = new ArrayList<>(); for (Integer v : values.get()) { sortedValues.add(v); } Collections.sort(sortedValues); int length = sortedValues.size(); if (length % 2 == 0) { double median = (sortedValues.get(length/2) + sortedValues.get(length/2 - 1)) / 2.0; out.collect(median); } else { double median = sortedValues.get(length/2); out.collect(median); } } } ``` 在上述代码中,我们使用了ListState来保存数据流中的元素,并在每次处理新元素时重新排序并计算中位数。注意,这只是一个简单的示例,实际应用中需要考虑更多的问题,比如数据倾斜、数据丢失等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值