2021-09-09

package com.loong.eshop.cache.ha.http;

import java.io.IOException;
import java.io.InterruptedIOException;
import java.net.SocketTimeoutException;
import java.net.URI;
import java.net.UnknownHostException;
import java.util.Map;

import javax.net.ssl.SSLException;
import javax.net.ssl.SSLHandshakeException;
import javax.servlet.http.HttpServletResponse;

import org.apache.http.HttpEntityEnclosingRequest;
import org.apache.http.HttpRequest;
import org.apache.http.NoHttpResponseException;
import org.apache.http.client.HttpRequestRetryHandler;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.protocol.HttpClientContext;
import org.apache.http.client.utils.URIBuilder;
import org.apache.http.conn.ConnectTimeoutException;
import org.apache.http.conn.HttpHostConnectException;
import org.apache.http.entity.ContentType;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.protocol.HttpContext;
import org.apache.http.util.EntityUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.util.CollectionUtils;

import com.alibaba.fastjson.JSON;

public class WebTools {
    
    private static Logger logger = LoggerFactory.getLogger(WebTools.class);
    
    /**读取超时 */
    private final static int SOCKET_TIMEOUT = 40000;
    /**连接超时 */
    private final static int CONNECTION_TIMEOUT = 40000;
    /**每个HOST的最大连接数量 */
    //private final static int MAX_CONN_PRE_HOST = 2;
    /**连接池的最大连接数 */
    private final static int MAX_CONN = 200;
    /**每个路由的最大连接数 */
    private final static int MAX_PRE_ROUTE = 100;
    /**重试了连接次数 */
    private final static int EXECUTION_COUNT = 5;
    
    /**连接池管理 */
    private final static PoolingHttpClientConnectionManager POOL_CONN_MANAGER = new PoolingHttpClientConnectionManager();
    
    /**
     * retry handler
     */
    private final static HttpRequestRetryHandler HTTP_REQUEST_RETRY_HANDLER = new HttpRequestRetryHandler(){

        @Override
        public boolean retryRequest(IOException exception, int executionCount, HttpContext context) {
            // 如果已经重试了n次,就放弃
            if(executionCount >= EXECUTION_COUNT){return false;}
            // 如果服务器丢掉了连接,那么就重试
            if(exception instanceof NoHttpResponseException){return true;}
            // 不要重试SSL握手异常
            if(exception instanceof SSLHandshakeException){return false;}
            // 超时
            if(exception instanceof InterruptedIOException){return false;}
            // 目标服务器不可达
            if(exception instanceof UnknownHostException){return true;}
            // 连接被拒绝
            if(exception instanceof ConnectTimeoutException){return false;}
            // SSL握手异常
            if(exception instanceof SSLException){return false;}
            HttpClientContext clientContext = HttpClientContext.adapt(context);
            HttpRequest request = clientContext.getRequest();
            // 如果请求是幂等的,就再次尝试
            if(!(request instanceof HttpEntityEnclosingRequest)){
                return true;
            }
            return false;
        }
    };
    static {
        // 类加载的时候,设置最大连接 和 每个路由的最大连接数
        POOL_CONN_MANAGER.setMaxTotal(MAX_CONN);
        POOL_CONN_MANAGER.setDefaultMaxPerRoute(MAX_PRE_ROUTE);
    }
    
    /**
     * api code
     */
    private static CloseableHttpClient getCloseableHttpClient(){
        CloseableHttpClient httpClient = HttpClients.custom()
                .setConnectionManager(POOL_CONN_MANAGER)
                .setRetryHandler(HTTP_REQUEST_RETRY_HANDLER)
                .build();
        return httpClient;
    }
    
    public static RequestConfig getRequestConfig(){
        //HttpHost proxy = new HttpHost("代理IP", 8080, "HTTP");//代理
        RequestConfig requestConfig = RequestConfig.custom()
                //.setProxy(proxy)
                //是设置连接到目标 URL 的等待时长,超过这个时间还没连上就抛出连接超时;
                .setConnectTimeout(CONNECTION_TIMEOUT)
                //是连接到目标URL 之后等待返回响应的时长 ,即超过这个时间就放弃本次调用并抛出
                .setSocketTimeout(SOCKET_TIMEOUT)
                //.setConnectionRequestTimeout(60000)//从连接池获取连接的timeout
                //自动重定向关闭
                .setRedirectsEnabled(false)
                .build();
        return requestConfig;
    }
    
    /**
     * post请求
     * @param url
     * @param json
     * @param interfaceName
     * @return
     */
    public static String doPostJson(String url, String json, String interfaceName){
        String methodName = Thread.currentThread().getStackTrace()[1].getMethodName()+"  ";
        Map<String, Object> result = null;
        String resultString = "";
        //创建Httpclient对象
        CloseableHttpClient httpClient = getCloseableHttpClient();
        
        //创建Http Post请求
        HttpPost httpPost = new HttpPost();
        CloseableHttpResponse response = null;
        
        try {
            httpPost.addHeader("Content-Type", "application/json; charset=UTF-8");
            httpPost.addHeader("Accept", "application/json");
            httpPost.addHeader("Accept-Encoding", "gzip");
            httpPost.addHeader("Content-Encoding", "UTF-8");
            
            httpPost.setConfig(getRequestConfig());
            //创建请求内容
            StringEntity stringEntity = new StringEntity(json, ContentType.APPLICATION_JSON);
            httpPost.setEntity(stringEntity);
            //执行http请求
            response = httpClient.execute(httpPost);
            resultString = EntityUtils.toString(response.getEntity(), "UTF-8");
            if(response.getStatusLine().getStatusCode() == HttpServletResponse.SC_OK){
                Map<String, Object> map = JSON.parseObject(resultString, Map.class);
            }
            return "成功";
        } catch (SocketTimeoutException e) {
            logger.error("调用接口超时", e);
            return "失败";
        } catch (ConnectTimeoutException e) {
            logger.error("调用接口超时", e);
            return "失败";
        } catch (HttpHostConnectException e) {
            logger.error("调用接口超时", e);
            return "失败";
        } catch (Exception e) {
            logger.error("调用接口异常", e);
            return "失败";
        }finally{
            if(null != response){
                try {
                    EntityUtils.consume(response.getEntity());
                    response.close();
                } catch (Exception e2) {
                    logger.error("调用接口关闭异常", e2);
                }
            }
        }
    }
    
    public static String doGet(String url, Map<String, String> params, String interfaceName){
        String methodName = Thread.currentThread().getStackTrace()[1].getMethodName()+"  ";
        Map<String, Object> result = null;
        String resultString = "";
        //创建Httpclient对象
        CloseableHttpClient httpClient = getCloseableHttpClient();
        
        CloseableHttpResponse response = null;
        
        try {
            URIBuilder b = new URIBuilder(url);
            if(!CollectionUtils.isEmpty(params)){
                params.entrySet().forEach(entry -> {
                    b.addParameter(entry.getKey(), entry.getValue());
                });
            }
            URI urlPath = b.build();
            //创建Http Get请求
            HttpGet httpGet = new HttpGet(urlPath);
            
            httpGet.addHeader("Content-Type", "application/json; charset=UTF-8");
            httpGet.addHeader("Accept", "application/json");
            httpGet.addHeader("Accept-Encoding", "gzip");
            httpGet.addHeader("Content-Encoding", "UTF-8");
            
            httpGet.setConfig(getRequestConfig());
            
            //执行http请求
            response = httpClient.execute(httpGet);
            resultString = EntityUtils.toString(response.getEntity(), "UTF-8");
            if(response.getStatusLine().getStatusCode() == HttpServletResponse.SC_OK){
                Map<String, Object> map = JSON.parseObject(resultString, Map.class);
            }
            return "成功";
        } catch (SocketTimeoutException e) {
            logger.error("调用接口超时", e);
            return "失败";
        } catch (ConnectTimeoutException e) {
            logger.error("调用接口超时", e);
            return "失败";
        } catch (HttpHostConnectException e) {
            logger.error("调用接口超时", e);
            return "失败";
        } catch (Exception e) {
            logger.error("调用接口异常", e);
            return "失败";
        }finally{
            if(null != response){
                try {
                    EntityUtils.consume(response.getEntity());
                    response.close();
                } catch (Exception e2) {
                    logger.error("调用接口关闭异常", e2);
                }
            }
        }
    }

}
 

我们来逐步分析你提出的问题,先从 SQL 语句的逻辑入手,再解释为什么会出现 `null` 值,以及为什么在“9-15”这一行中窗口函数返回的是 `2021-06-21`(比当前行的结束时间还大),最后给出正确计算每个品牌**去重后总打折天数**的方法。 --- ### ✅ 你的SQL语句是: ```sql SELECT brand, stt, edt, MAX(edt) OVER ( PARTITION BY brand ORDER BY stt ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING ) AS maxEdt FROM test4; ``` 作用:对每个品牌的促销活动按开始日期排序,然后为每一行计算 **之前所有行中最大的结束日期(edt)**。 --- ## 🔍 问题1:为什么第一行 `maxEdt` 是 `null`? 看 redmi 的第一条记录: ``` redmi 2021-06-05 2021-06-21 null ``` 因为这是一组(brand=redmi)中的**第一行**。 窗口定义是: > `ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING` 意思是:“从该分组的第一行到当前行的前一行”。 但当前行是第一行,它前面没有数据 → 所以前面的行集合为空集 → `MAX(edt)` 在空集上运算结果为 `NULL`。 ✅ **结论**:第一个活动没有“之前的活动”,所以 `maxEdt = NULL` 是正常的。 --- ## 🔍 问题2:为什么第二行(2021-06-092021-06-15)的 `maxEdt = 2021-06-21`? 看第二条 redmi 记录: ``` redmi 2021-06-09 2021-06-15 2021-06-21 ``` 注意!虽然当前行的 `edt=2021-06-15`,但它的 `maxEdt` 来自于前面所有行的最大 `edt`,也就是第一行的 `edt=2021-06-21`。 ⚠️ 关键点: 窗口函数 `MAX(edt)` 是取历史行中 `edt` 字段的值,并不是和当前行有关。 即使当前行的 `edt` 较小(如 6月15日),只要前面某行的 `edt` 更晚(如 6月21日),就会被保留下来。 所以这里 `maxEdt = 2021-06-21` 是完全正确的。 💡 这个值的意义是:**在当前这次活动开始之前,该品牌最后一次可能还在打折的时间点(即最大结束日)**。 这个技巧常用于判断是否有时间重叠! --- ## ✅ 如何用这个字段判断是否连续或重叠? 我们可以利用 `maxEdt` 和当前行的 `stt` 比较: - 如果 `stt <= maxEdt`:说明当前活动与前面某个活动有重叠或紧接 → 可以合并 - 否则:中间有空档 → 不连续,需要新开一个区间 这是典型的“合并区间”问题,在数据库中可通过以下方式解决: --- ## ✅ 正确解法:计算每个品牌去重后的总打折天数(处理交叉日期) ### Step 1: 排序并找出是否属于同一连续区间(使用 `start_gap_flag`) ```sql WITH ordered_data AS ( SELECT brand, stt::date, edt::date FROM test4 ), marked_gaps AS ( SELECT brand, stt, edt, -- 如果当前开始时间 > 之前所有活动的最大结束时间,则说明断开了 CASE WHEN stt > MAX(edt) OVER ( PARTITION BY brand ORDER BY stt ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING ) THEN 1 ELSE 0 END AS is_new_period FROM ordered_data ), -- Step 2: 使用累计标志划分不同的连续区间 grouped_periods AS ( SELECT brand, stt, edt, SUM(is_new_period) OVER ( PARTITION BY brand ORDER BY stt ROWS UNBOUNDED PRECEDING ) AS period_id FROM marked_gaps ), -- Step 3: 对每个 period 取最小 stt 和最大 edt(即合并后的区间) merged_periods AS ( SELECT brand, MIN(stt) AS period_stt, MAX(edt) AS period_edt FROM grouped_periods GROUP BY brand, period_id ) -- Step 4: 计算每个品牌总的不重复天数 SELECT brand, SUM(period_edt - period_stt + 1) AS total_discount_days FROM merged_periods GROUP BY brand ORDER BY brand; ``` --- ### 📌 代码解释: 1. **`ordered_data`**:确保日期类型为 `date`,避免字符串比较出错。 2. **`marked_gaps`**: - 使用窗口函数获取此前所有区间的最大结束日。 - 若当前开始日 > 此前最大结束日 → 新周期开始(`is_new_period = 1`)。 3. **`grouped_periods`**: - 利用 `SUM(...) OVER (...)` 构造唯一 `period_id`,将连续或重叠的区间归为一组。 4. **`merged_periods`**: - 按 `brand + period_id` 分组,取每段的起止时间。 5. **最终统计**: - 每个合并区间的天数 = `end - start + 1`(包含首尾)。 - 累加得到各品牌总天数。 --- ### 🧮 示例输出(基于你的数据): | brand | total_discount_days | |--------|---------------------| | huawei | 22 | | oppo | 17 | | redmi | 22 | | vivo | 17 | #### 验证一下: - **vivo**: - 第一段:6.5 ~ 6.15 (11天) - 第二段:6.9 ~ 6.21(重叠了6.9~6.15) - 合并后:6.5 ~ 6.21 → 共 17 天 ✅ - **redmi**: - 6.5~6.21,6.9~6.15(完全包含),6.17~6.26 - 前两段已覆盖到6.21,第三段6.17 < 6.21 → 重叠 - 合并为 6.5 ~ 6.26 → 共 22 天 ✅ - **huawei**: - 6.5~6.26,6.9~6.15(包含),6.17~6.21(也在范围内) - 整体就是 6.5~6.26 → 22 天 ✅ --- ## ✅ 回答总结: - `maxEdt` 出现 `NULL` 是因为第一行前面没有数据,符合窗口定义。 - `maxEdt` 显示比当前 `edt` 大,是因为它反映的是**之前活动中最晚结束时间**,而非当前行。 - 要准确统计去重天数,必须先**合并重叠/连续的时间区间**,不能简单相加。 - 上述 SQL 完整实现了“按品牌合并打折时间段并计算总天数”的需求。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值