influxdb 数据查询过多,导致超时问题

当InfluxDB中存储的实时数据库数据量达到亿级时,统计总条数操作会导致查询超时。问题表现为java.net.SocketTimeoutException: Read timed out。解决方案是通过引入OkHttp,在InfluxDB初始化连接时使用OkHttpClient来增加超时限制。
部署运行你感兴趣的模型镜像

随着实时数据库的数据的不断存储,数据亮已经达到了9位数,而页面还要统计总条数,导致查询超时失败,返回的结果一直是0,经过排查是超时导致
influxDB java.net.SocketTimeoutException: Read timed out 问题
原因是http超时

解决方法:
引入okhttp
 

static OkHttpClient.Builder client = new OkHttpClient.Builder().readTimeout(100000,TimeUnit.SECONDS);
// 设置很大的超时时间

然后在influx初始化连接的时候,引入okhttpclient

influxDB = InfluxDBFactory.connect(url, username, password,client);

附influxdb工具类

import lombok.Data;
import lombok.extern.slf4j.Slf4j;
import okhttp3.OkHttpClient;
import org.influxdb.InfluxDB;
import org.influxdb.InfluxDBFactory;
import org.influxdb.dto.Point;
import org.influxdb.dto.Query;
import org.influxdb.dto.QueryResult;
import org.springframework.beans.factory.annotation.Autowired;
import org.apache.commons.beanutils.BeanUtils;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;
import org.springframework.stereotype.Repository;
 
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;
 
@Repository
@Slf4j
@Component
public class BaseInfluxDB<T> {
 
    @Autowired
    private InfluxDB influxDB;
    //配置数据库和数据保存策略
    private String  dataBaseName="water_database";
    static OkHttpClient.Builder client = new OkHttpClient.Builder()
            .readTimeout(1000000, TimeUnit.SECONDS);
 
    @Value("${spring.influx.url}")
    private String url;
    /**
     * 用户名
     */
    @Value("${spring.influx.user}")
    private String user;
    /**
     * 密码
     */
    @Value("${spring.influx.password}")
    private String password;
    /**
     * 数据库
     */
    @Value("${spring.influx.database}")
    private String database;
    /**
     * 保留策略
     */
    @Value("${spring.influx.retentionpolicy}")
    private String retentionPolicyName;
 
    public boolean insert(String measurement,Map<String, String> tags, Map<String, Object> fields){
        boolean flag=false;
        try{
            Point.Builder builder = Point.measurement(measurement); //表名字
            builder.tag(tags);
            builder.fields(fields);
            influxDB.write(dataBaseName, retentionPolicyName, builder.build()); //数据库名字和 策略名字
            flag=true;
        }catch (Exception exception){
            exception.printStackTrace();
        }
        return  flag;
    }
 
    //基本查询
    public List<T> query(String command ,Class<T> clazz){
        InfluxDB connect = InfluxDBFactory.connect(url, user, password,client);
        List<T> resultList = new ArrayList<T>();
        try{
            QueryResult queryResult = connect.query(new Query(command, dataBaseName)); //数据库和查询语句
            List<QueryResult.Result> results = queryResult.getResults(); //查询结果
            for(QueryResult.Result result :results){
                List<QueryResult.Series> seriess = result.getSeries();//有结果组装返回对象
                if(seriess!=null){
                    //直接返回对象
                    for(QueryResult.Series series :seriess){
                        String name = series.getName();
                        List<List<Object>>  value = series.getValues();
                        List<String> key = series.getColumns();
                        for(List<Object> object :value){
                            Map<String,Object> beanProperMap =new HashMap<>();
                            //匹配属性和属性值
                            for(int i=0;i<object.size();i++){
                                String k=key.get(i);
                                Object v =object.get(i);
                                beanProperMap.put(k,v);
                            }
                            //创建对象并且赋值
                            T bean =clazz.newInstance();
                            try {
                                BeanUtils.populate(bean,beanProperMap);
                            } catch (Exception e) {
                                e.printStackTrace();
                            }
                            //保存集合
                            resultList.add(bean);
                        }
                    }
                }
            }
        }catch (Exception exception){
            exception.printStackTrace();
        }
        return resultList;
    }
}

您可能感兴趣的与本文相关的镜像

FLUX.1-dev

FLUX.1-dev

图片生成
FLUX

FLUX.1-dev 是一个由 Black Forest Labs 创立的开源 AI 图像生成模型版本,它以其高质量和类似照片的真实感而闻名,并且比其他模型更有效率

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值